informe metodológico: programa hábitatinapam.gob.mx/work/models/sedesol/evaluacionprogramas...prah...

Meta-Evaluación 2007-2012

TERCER ENTREGABLE

INFORME FINAL

PROGRAMA

Coordinador General: Dr. Alfonso X. Iracheta Cenecorta

Octubre de 2012

Programa Hábitat Meta-Evaluación 2007-2012 Informe Final

1

Contenido

Introducción ................................................................................................................................ 6

1. Descripción del Programa ....................................................................................................... 7

1.1. Datos generales ........................................................................................................... 7

1.2. Objetivos ...................................................................................................................... 7

1.3. Problema focal ............................................................................................................. 7

1.4. Población potencial y objetivo ...................................................................................... 8

1.5. Apoyos ......................................................................................................................... 9

1.6. Evolución de la cobertura ........................................................................................... 10

2. Objeto de la evaluación ........................................................................................................ 11

2.1. Objetivo general ......................................................................................................... 11

2.2. Objetivos específicos ................................................................................................. 11

2.1.1. En materia de evaluación: ................................................................................... 11

2.2.2. En materia de monitoreo:..................................................................................... 11

3. Evaluación ............................................................................................................................ 12

3.1. Análisis de las evaluaciones realizadas durante el periodo 2007-2012 ...................... 12

3.1.1. Principales hallazgos ........................................................................................... 12

3.1.2. Avances y rezagos .............................................................................................. 21

3.1.3. Fortalezas, oportunidades, debilidades y amenazas............................................ 22

3.2. Revisión de informes de evaluación de resultados o de impacto en el ámbito nacional o internacional de programas similares ............................................................... 33

3.2.1. Principales resultados .......................................................................................... 33

3.2.2. Valoración de los hallazgos en el ámbito internacional respecto de Hábitat ........ 39

3.3. Propuesta de agenda de evaluación para el mediano plazo, 2013-2018 .................... 41

3.4. Evaluación de Impacto ............................................................................................... 44

4. Monitoreo .............................................................................................................................. 47

4.1. Análisis histórico de la MIR en el periodo 2007-2012 .................................................. 47

4.1.1. Cambios en el Nivel Fin ....................................................................................... 48

4.1.2. Cambios en el Nivel Propósito ............................................................................. 50

4.1.3. Cambios en el Nivel Componentes ...................................................................... 52

4.2. Valoración del Resumen Narrativo de los niveles de Propósito y Fin de la MIR .......... 56

4.3. Valoración de los indicadores de los niveles de Propósito y Fin de la MIR .................. 58

4.3.1. Cambios en los indicadores de Propósito y Fin de 2007 a 2012 .......................... 58

4.3.2. Validación de los indicadores vigentes de los niveles de Propósito y Fin ............. 65


2

4.4. Aspectos susceptibles de mejora vinculados con la MIR ............................................. 70

4.5. Recomendaciones ..................................................................................................... 72

Conclusiones ............................................................................................................................ 75

Bibliografía ................................................................................................................................ 77


3

Índice de tablas

Tabla 1. Evolución de la cobertura………………………………………………………..........10

Tabla 2. Evolución de las definiciones de población potencial y objetivo…………………..29

Tabla 3. Alineación del programa a objetivos del PND y sus programas………….………..48

Tabla 4. Cambios en el resumen narrativo de la MIR Hábitat, 2007-2012………………….50

Tabla 5. Cambios en el resumen narrativo de los componentes de la MIR Hábitat, 2007-2012……………………………………………………………………………………………….54

Tabla 6. Análisis de sintaxis y valoración del resumen narrativo de la MIR del Programa Hábitat, 2012……………………………………………………………………………………..58

Tabla 7.1. Variación en los indicadores del nivel Fin de la MIR del Programa Hábitat, 2007-2012……………………………………………………………………………………………….60

Tabla 7.2. Variación en los indicadores del nivel Propósito de la MIR del Programa Hábitat, 2007-2012…………………………………………………………………….............................63

Tabla 8. Validación de los indicadores vigentes del nivel Fin de la MIR…………………………………………………………………………………………………67

Tabla 8.1. Validación de los indicadores vigentes del nivel Fin y Propósito de la MIR

(continuación)………………………………………………………………………………........69

Tabla 8.2. Validación de los indicadores vigentes del nivel Fin y Propósito de la MIR

(continuación)…………………………………………………………………………………….70

Tabla 9. ASM vinculados con la MIR del Programa Hábitat…………………………….........71

Tabla 10. ASM vinculados con la MIR del programa Hábitat…………………………………72


4

Anexos Anexo 1. Síntesis de evaluaciones del Programa Hábitat

Anexo 2. Fichas técnicas de evaluaciones de programas similares

Anexo 2b. Fichas informativas de programas similares

Anexo 3. Agenda de evaluación

Anexo 4. Principales fortalezas, oportunidades, debilidades, amenazas y

recomendaciones

Anexo 5.1. Histórico del resumen narrativo

Anexo 5.2. Histórico de indicadores

Anexo 6. Comparativo ECR-2011 vs preguntas equivalentes en ECR-2007


5

Lista de acrónimos y siglas

ASM Aspectos Susceptibles de Mejora

BANOBRAS Banco Nacional de Obras y Servicios Públicos, S.N.C.

CEPAL Comisión Económica para América Latina y el Caribe

COLEF Colegio de la Frontera Norte

COLMEX Colegio de México

CONACULTA Consejo Nacional para la Cultura y las Artes

CONEVAL Consejo Nacional de Evaluación de la Política de Desarrollo Social

D-10 Diagnóstico del Programa Hábitat, 2010

DSC Desarrollo Social Comunitario

ECR-11-12 Evaluación de Consistencia y Resultados, 2011-2012

EED-09-10 Evaluación específica de desempeño, 2009-2010

EEMOP-09 Evaluación de monitoreo de obra pública, 2009

FODA Fortalezas, Oportunidades, Debilidades y Amenazas

MEU Modalidad de Mejoramiento del Entorno Urbano

MIR Matriz de Indicadores para Resultados

MML Metodología del Marco Lógico

MTRI-11 Mesa Técnica de Revisión interna de la Matriz de Indicadores, 2010

NPPO Nota sobre Población Potencial y Población Objetivo

PI-08 Posición institucional. Evaluación específica de desempeño, 2008

PI-EMOP-09 Posición institucional. Evaluación de monitoreo de obra pública, 2009

PND Plan Nacional de Desarrollo 2007-2012

PRAH Programa de Prevención de Riesgos en los Asentamientos Humanos

PREP Programa de Rescate de Espacios Públicos

RI-08 Informe de sesiones de mesa técnica de revisión de indicadores del Programa Hábitat, 2008

ROP Reglas de Operación

SDUOT Subsecretaría de Desarrollo Urbano y Ordenación del Territorio

SECTUR Secretaría de Turismo

SEDESOL Secretaría de Desarrollo Social

SFP Secretaría de la Función Pública

SHCP Secretaría de Hacienda y Crédito Público

SIIPSO Sistema Integral de Información de los Programas Sociales

UNESCO Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura

UPAPU Unidad de Programas de Atención a la Pobreza Urbana


6

Introducción

Este documento constituye el Informe Final de la Meta-Evaluación 2007-2012 del Programa Hábitat. La evaluación tuvo por objetivo analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas, que permitan al Programa obtener mejores resultados. El trabajo se desarrolló en gabinete conforme a los Términos de Referencia establecidos por SEDESOL, utilizando los informes de las evaluaciones realizadas al programa durante el periodo 2007-2012, así como la información directamente relacionada con las mismas (Reglas de Operación, Aspectos Susceptibles de Mejora, Matriz de Indicadores para resultados y sus fichas técnicas, entre otros). Cabe señalar que esta evaluación se realizó en paralelo con la Meta Evaluación 2007-2012 de otros programas de intervención territorial (Recuperación de Espacios Públicos y Prevención de Riesgos en los Asentamientos Humanos), lo que permitió desarrollar un análisis de carácter transversal a nivel de la Subsecretaría de Desarrollo Urbano y Ordenamiento Territorial (SDUOT). Las evaluaciones realizadas al Programa en el periodo 2007-2012 reconocen a Hábitat por su fortaleza como instrumento de la política pública federal capaz de incidir en el mejoramiento del entorno urbano y el desarrollo comunitario, lo que también se refleja en reportes sobre la satisfacción de los beneficiarios. Las recomendaciones propuestas en este trabajo se presentan directamente asociadas a las oportunidades, debilidades y/o amenazas identificadas, así como a detalles técnicos observados en la Matriz de Indicadores para Resultados (MIR); sin embargo, es pertinente orientar la atención a las mismas en distintas escalas, tal como se indica en los siguientes párrafos. En el caso de Hábitat, una parte importante de las recomendaciones se refiere a la conveniencia de robustecer sus modalidades de apoyo para el Mejoramiento del Entorno Urbano y Desarrollo Social y Comunitario a partir de reasignar, entre los programas de la SDUOT, parte de los apoyos que actualmente gestiona. Otro eje de propuestas corresponde a la posibilidad de mejorar la eficiencia y efectividad del programa mediante la integración de procesos con los demás programas de la SDUOT. La agenda de evaluación propuesta prevé instrumentos para la validación de estas recomendaciones. En lo que se refiere a indicadores, las recomendaciones para Hábitat pasan por acotar el Fin del programa al mejoramiento de la calidad de vida de los habitantes de las zonas urbano-marginadas, fortaleciendo y mejorando la organización y participación social, así como el entorno urbano de dichos asentamientos, en tanto que el Propósito delimitado a los Polígonos Hábitat. Finalmente, se debe señalar la conveniencia de aprovechar el proceso de preparación del Plan Nacional de Desarrollo 2013-2018, para que SEDESOL consolide la rectoría de las políticas federales de Desarrollo Urbano y Social.


7

1. Descripción del Programa

1.1. Datos generales

i. Nombre: Programa Hábitat. ii. Siglas: Hábitat iii. Dependencia y/o entidad coordinadora: Secretaría de Desarrollo

Social, Subsecretaría de Desarrollo Urbano y Ordenación del Territorio, Unidad de Programas de Atención a la Pobreza Urbana (UPAPU).

iv. Año de inicio: 2003.

1.2. Objetivos

i. Objetivo general: Contribuir a la superación de la pobreza y al mejoramiento de la calidad de vida de los habitantes de zonas urbano-marginadas, al fortalecer y mejorar la organización y participación social, así como el entorno urbano de dichos asentamientos.1

ii. Objetivo específico: Mejorar las condiciones físicas y sociales de las zonas urbano-marginadas para el desarrollo de sus habitantes.2

1.3. Problema focal

La existencia de zonas urbanas marginadas con alta concentración de pobreza que presentan condiciones físicas y sociales desfavorables para el desarrollo de sus habitantes.3

De forma más amplia y de acuerdo con las Reglas de Operación vigentes (ROP, 2012), el problema o necesidad que busca atender el Programa Hábitat se conceptualiza como se menciona a continuación:4

México se encuentra inmerso en un acelerado proceso de urbanización. Entre 1940 y 1980 el país experimentó una tasa creciente de urbanización que nos ha llevado a ser una sociedad predominantemente urbana. En la década de los ochenta, más de la mitad de la población ya residía en localidades urbanas; y para el año 2010 alcanzó el 76.8% de la población total; esta cifra corresponde a la información del Censo de Población y Vivienda 2010 del Instituto Nacional de Estadística y Geografía.

El Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) estimó que en 2010 el 45.5% de los habitantes localizados en ámbitos urbanos, alrededor de 32.1 millones de personas, se encontraba en situación de pobreza.

Las personas en situación de pobreza se encuentran segregadas espacial, social y económicamente en zonas con instalaciones precarias y de escaso valor en el mercado urbano. Estas condiciones, al limitar el acceso de los pobres a las

1 Reglas de Operación 2012 del Programa Hábitat (ROP-12).

2 Ibíd.

3 Anexo 1, Evaluación de Consistencia y Resultados 2011-2012.

4 ROP-12


8

oportunidades que ofrecen las ciudades, generan barreras a la movilidad de las personas, propician su aislamiento y favorecen la reproducción intergeneracional de la pobreza. Los hogares pobres han tendido a asentarse en zonas que no son apropiadas para el uso residencial, como son las áreas inundables, contaminadas, contiguas a ríos o de topografía muy difícil, lo que se traduce en vulnerabilidades frente a las amenazas de origen natural.

Con el objeto de focalizar la inversión de recursos en las zonas de mayor concentración de pobreza, el Ejecutivo Federal, a través de la Secretaría de Desarrollo Social, propuso al Poder Legislativo la identificación de Zonas de Atención Prioritaria Urbanas. Dichas zonas están compuestas por 335,418 manzanas ubicadas en 2,109 localidades urbanas de 1,257 municipios del país.

El Programa Hábitat actúa en ciudades y zonas metropolitanas, con al menos 15 mil habitantes, que integran el Sistema Urbano Nacional (SUN). En este ámbito se han identificado 296,043 manzanas con altos niveles de pobreza y rezagos en infraestructura y servicios básicos, en las que residen los integrantes de 6.7 millones de hogares. De estos hogares, conforme a los datos del II Conteo de Población y Vivienda 2005, 28% no dispone de agua en la vivienda, 3.5% de drenaje y 0.7% de electricidad.

Dentro de este universo de manzanas se han identificado las zonas con mayor concentración de hogares en situación de pobreza que se denominan Polígonos Hábitat.

De los hogares que conforman los Polígonos Hábitat, 35.2% no disponía de agua en la vivienda, 4.9% carecía de drenaje y 0.9% no contaba con electricidad. La mayoría de las ciudades en que se ubican estos Polígonos no dispone de sistemas de tratamiento de las aguas residuales y realiza la disposición de buena parte de los desechos en tiraderos a cielo abierto.

1.4. Población potencial y objetivo

i. Población objetivo: Los hogares asentados en los Polígonos Hábitat y en áreas de ciudades que presentan condiciones de marginación, pobreza, inseguridad o violencia social.5

ii. Población potencial: Hogares asentados en los Polígonos Hábitat ubicados en ciudades de al menos 15 mil habitantes de todo el país.6

Los Polígonos Hábitat pueden ser identificados por la SEDESOL o propuestos para serlo por los gobiernos locales. Los criterios que deben cumplir para su definición son los siguientes:7

1. Estar ubicados en ciudades de al menos 15 mil habitantes, o que alcanzarán en el presente ejercicio fiscal tal umbral de población.

2. Tener una concentración de hogares en pobreza de al menos 50% de los hogares ubicados en el área. En ciudades donde no

5 Ibíd.

6 Ibíd. Numeral 3.1.

7 Ibíd. Numeral 3.3.1.


9

se identifiquen polígonos con estas características, la Unidad de Programas de Atención de la Pobreza Urbana (UPAPU) podrá autorizar Polígonos con al menos 30% de hogares pobres.

3. Presentar déficit en infraestructura, equipamiento y servicios urbanos.

4. Contar con al menos 80% de lotes ocupados.

5. Estar claramente delimitados y localizados en el perímetro urbano o urbanizable del municipio o delegación del Distrito Federal, de acuerdo con el plan o programa de desarrollo urbano vigente.

6. No estar en situación irregular con respecto a la tenencia de la tierra.

7. No estar ubicados en zonas de reserva ecológica, zonas arqueológicas o áreas naturales protegidas.

1.5. Apoyos8

i. Tipo de apoyo: Subsidios federales que se complementarán con recursos aportados por los gobiernos locales para la ejecución de obras y acciones que sirvan para promover el desarrollo social y urbano en los Polígonos Hábitat y en áreas de ciudades que presentan condiciones de marginación, pobreza, inseguridad o violencia social.

ii. Características de los apoyos: Los apoyos están clasificados en tres modalidades que agrupan las líneas de acción que serán apoyadas con subsidios federales:

1. Desarrollo Social y Comunitario: Apoya acciones que contribuyen a la formación y fortalecimiento del capital social mediante el desarrollo de las capacidades individuales y comunitarias, la promoción de la equidad de género y la prevención de la violencia familiar y comunitaria, entre otras.

2. Mejoramiento del Entorno Urbano: Promueve el mejoramiento físico de los Polígonos Hábitat y la integración urbana de sus habitantes mediante la introducción o mejoramiento de infraestructura urbana y social básica, el mejoramiento del entorno ecológico y la ejecución de proyectos para la prevención y mitigación de riesgos en los polígonos Hábitat, y para el saneamiento del entorno, entre otros.

3. Promoción del Desarrollo Urbano: Apoya acciones para el fortalecimiento de las capacidades de planeación y gestión de los gobiernos municipales en materia de desarrollo social y urbano, y de ordenamiento territorial, entre otras.

8 Ibíd.


10

1.6. Evolución de la cobertura

La definición de población objetivo fue modificada en varias ocasiones durante el periodo 2007-20129, lo que dificulta la comparación de los niveles de cobertura, entendida como población atendida entre población objetivo.

La siguiente tabla muestra la evolución de la cobertura de Hábitat conforme a lo registrado en las evaluaciones realizadas al programa en el periodo.

Tabla 1. Evolución de la cobertura10

Tipo de PoblaciónUnidad de

MedidaECR-07 EED-08-09 EED-09-10 EED-10-11

Actualización Población

Potencial y Objetivo

2011

P. Potencial Hogares 5,090,247 5,090,247 5,891,216 5,891,216 4,555,741

P. Objetivo Hogares 1,949,128 1,949,128 1,952,667 4,133,013 1,661,325

P. Atendida Hogares 658,458 633,826 1,609,089 1,772,584 1,632,481

Cobertura 33.8% 32.5% 82.4% 42.9% 98.3%

Fuente: SEDESOL, Nota Sobre Población Potencial y Población Objetivo. Programa Hábitat. Subsecretaría de Prospectiva, Planeación y Evaluación,

Dirección General de Análisis y Prospectiva, noviembre, 2011. Módulo de Cuenta Pública 2011 del Portal Aplicativo de la Secretaría de Hacienda y

Crédito Público (PASH 2011). Evaluaciones Específicas de Desempeño 2008-2009, 2009-2010, 2010-2011 CONEVAL.

9 Véase Tabla 2 Evolución de las definiciones de población potencial y objetivo (sección 3.1.3.)

10 Anexo 11, Evaluación de Consistencia y Resultados 2011-2012.


11

2. Objeto de la evaluación

2.1. Objetivo general

Analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas que permitan al Programa Hábitat obtener mejores resultados.

2.2. Objetivos específicos

2.1.1. En materia de evaluación:

• Analizar las evaluaciones realizadas durante el periodo 2007-2012, sintetizando para cada una de ellas los principales resultados y hallazgos, y en el caso de evaluaciones de resultados o de impacto, emitir una valoración técnica sobre las metodologías empleadas.

• Revisar informes de evaluación de resultados o de impacto en el ámbito nacional o internacional de programas similares y realizar una síntesis de los principales resultados, así como valorar técnicamente la metodología empleada.

• Establecer una agenda de evaluación del Programa Hábitat para el periodo 2013-2018 con base en las necesidades de evaluación detectadas, justificando técnica y/o empíricamente la importancia de cada una de ellas.

• Valorar la pertinencia de implementar una evaluación de impacto, y en su caso, establecer las etapas necesarias para realizar una evaluación de este tipo.

2.2.2. En materia de monitoreo:

• Presentar un análisis histórico (2007-2012) de los principales cambios en la Matriz de Indicadores para Resultados, analizando las observaciones emitidas por los actores involucrados en su revisión y/o derivado de evaluaciones externas.

• Con base en los bienes y servicios que entrega el Programa Hábitat (descritos en el nivel de Componentes de la MIR y en los tipos de apoyo establecidos en las Reglas de Operación), valorar la pertinencia y congruencia del Resumen Narrativo de los niveles de Fin y Propósito de la MIR, en su caso proponer áreas de mejora.

• Analizar los indicadores de los niveles de Fin y Propósito de la MIR, así como proponer las mejoras correspondientes en los mismos.


12

3. Evaluación

Las evaluaciones externas a los programas públicos son un instrumento previsto en la Ley Federal de Presupuesto y Responsabilidad Hacendaria (Art. 78) para los programas sujetos a reglas de operación. Su realización está determinada por el Programa Anual de Evaluación que emitan el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), la Secretaría de Hacienda y Crédito Público y la Secretaría de la Función Pública.

Para el Programa Hábitat, durante el periodo 2007-2012 se realizaron las siguientes evaluaciones:

a. Evaluación de Consistencia y Resultados 2007.

b. Evaluación de los Centros de Desarrollo Comunitario 2007.

c. Evaluación de Impacto en Infraestructura Básica 2007.

d. Evaluación Específica de Desempeño 2008.

e. Evaluación Específica de Desempeño 2009-2010.

f. Evaluación Especifica de Monitoreo de Obra Pública 2009.

g. Evaluación Específica de Desempeño 2010-2011.

h. Evaluación de Consistencia y Resultados 2011-2012.

i. Evaluación de Impacto 2008 - 2012

3.1. Análisis de las evaluaciones realizadas durante el periodo 2007-2012

El análisis que a continuación se presenta ha tomado como referencia a las Evaluaciones Externas del Programa Hábitat realizadas en el periodo 2007-2012, por lo que todos los resultados y hallazgos citados, así como las recomendaciones que derivaron del ejercicio de evaluación de los años de estudio contemplados, han sido analizadas y procesados conforme a la normatividad establecida en el Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal. Por consiguiente, todas las opiniones y valoraciones realizadas con base en el análisis anterior son exclusiva responsabilidad del equipo evaluador de la meta evaluación 2007-2012.

Como primera parte se presenta una síntesis de los principales hallazgos de cada evaluación. Asimismo, el Anexo 1 de esta Meta-Evaluación contiene fichas con el desglose de los resultados presentados por cada una de las evaluaciones.

3.1.1. Principales hallazgos

Debe destacarse en primera instancia que en general las evaluaciones reconocen a Hábitat como un programa social relevante en el ámbito de la atención a la pobreza urbana:

Su novedad deriva de combinar instrumentos y acciones propios de la política urbana con iniciativas de desarrollo comunitario y social características de la política social (ECR-07).


13

Su diseño ha permitido no sólo atender un problema de creciente relevancia en México, sino también coordinar de manera relativamente exitosa la intervención de diferentes órdenes de gobierno (EED-08).

Hábitat es un programa que articula los objetivos de la política social con los de la política de desarrollo urbano, para contribuir a reducir la pobreza urbana (EED-09-

10).

a. Evaluación de Consistencia y Resultados 200711

Sobre el impacto del programa, esta evaluación señaló la falta de un diagnóstico preciso, en algunos de los campos en los que interviene el programa, a partir del cual pueda estimarse su grado de incidencia.

En lo que se refiere a la MIR del programa, la ECR-07 consideró que los indicadores reflejaban diferentes propósitos pero que a su vez no eran suficientes para mostrar el impacto de las tres modalidades de intervención, por lo que recomendó implementar una submatriz para cada modalidad. La misma sugerencia se extendió a la vertiente de centros históricos, “pues su universo, componentes y propósito tienen una lógica diferente a la que requiere una estrategia de combate a la pobreza.”

Respecto a la planeación estratégica del programa, la Evaluación señaló la ausencia de líneas de referencia y la consecuente dificultad para establecer objetivos de mediano y largo plazo. Para su solución recomendó en particular la participación de instancias como INEGI o CONAPO.

También en el sentido de ampliar los mecanismos de coordinación, la ECR-07 señaló la coincidencia del programa con otras instancias, como BANOBRAS y la Secretaría de Gobernación, en el propósito de fortalecer las capacidades de los gobiernos municipales a través de la asignación de recursos para la elaboración de instrumentos de planeación. Asimismo, valoró que la modalidad de promoción del desarrollo urbano trasciende el enfoque en polígonos en los que interviene el programa, pues incide en las condiciones de vida de los habitantes de la ciudad.

Por otro lado, la Evaluación apreció que la capacidad instalada del programa puede verse rebasada por la extensión y la magnitud de la pobreza en algunas entidades, para lo cual sugirió ampliar la participación de los beneficiarios, las entidades académicas y organizaciones civiles que tienen interés en dar solución a la problemática de la pobreza urbana. De igual forma, puntualizó que “las contralorías sociales podrían adquirir más importancia y contribuirían de modo razonable a vigilar el uso adecuado de los recursos que invierten Hábitat y los gobiernos locales, de modo que estos fondos se canalicen hacia las prioridades que los mismos integrantes de los hogares pobres identifican como sus problemas principales”12.

b. Evaluación de los Centros de Desarrollo Comunitario 200713

Los resultados de esta Evaluación se presentan en torno a 5 líneas de investigación según se detalla a continuación.

11

ECR-07, Resumen Ejecutivo y págs. 176-177. 12

Ibíd, pág. 116 13

ECDC-07, Resumen Ejecutivo.


14

Referente a los procesos de operación y gestión de los Centros de Desarrollo Comunitario (CDC), la Evaluación concluyó que “el hecho de que el CDC sea administrado por un actor del gobierno o de la sociedad civil no implica diferencias significativas en la operación (en términos de la cantidad de servicios ofrecidos, la poca o mucha respuesta de los usuarios y las condiciones de la estructura física de los espacios)”; para este efecto se registró que 86% de los CDC es gestionado por Gobiernos Municipales, en tanto que el 14% restante es administrado por Organizaciones de la Sociedad Civil, aunque éstas últimas colaboran en casi 40% de los CDC; en general se aprecia que la autogestión es un proceso incipiente. Es de destacar que para casi la totalidad de los encuestados, la capacitación del personal de los CDC es excelente.

En cuanto a la situación financiera de los Centros, la ECDC-07 encontró que “solamente 36% de los CDC cuenta con registros contables”14. En este sentido, recomendó “priorizar la capacitación del personal a nivel municipal en labores de gestión y administración de recursos para garantizar no sólo el funcionamiento de los centros, sino también una mejor rendición de cuentas y un aporte de información administrativa, contable y financiera que coadyuve a los procesos de planeación”15.

La Evaluación también diagnosticó el estado físico de los CDC e identificó que los inmuebles adaptados para funcionar como CDC muestran propensión a la insuficiencia o desaprovechamiento de espacios. En sentido similar, registró la apreciación de los inspectores en el sentido de que una parte importante de los CDC no son apropiados para la actividad a la que se destinan, y que igualmente muchos carecen del mobiliario y equipo necesario. Estos hallazgos fundamentaron la recomendación de establecer lineamientos de diseño que permitan una funcionalidad adecuada de las actividades y el aprovechamiento eficiente de los espacios disponibles. La Evaluación también señala la conveniencia de impulsar, a través del mejoramiento de la imagen de los inmuebles, “un sentimiento de apropiación de los espacios entre los usuarios y vecinos de los centros que redunde en un mayor interés para el cuidado, mantenimiento y funcionamiento de los CDC”. En este sentido, señala la conveniencia de impulsar que los gobiernos municipales diversifiquen las fuentes de financiamiento para la dotación de materiales y equipos.

De la revisión de los servicios sociales ofrecidos en los CDC, se identificó “una gran variedad y heterogeneidad en el tipo de servicios”, entre capacitación, cuidado de la salud, actividades deportivas y manualidades. Se destaca que la gratuidad o bajo costo contribuyen a la asistencia de la población.

Por otro lado, la ECDC-07 registró la satisfacción del 90% de los usuarios con la calidad de los cursos y servicios y que “para prácticamente la totalidad (97.9%) de los encuestados el curso o servicio tomado ha sido útil”16.

Sin embargo señala que los beneficios generados por los CDC con respecto a la creación de capital humano y social no son aún significativos, pues si bien los beneficiarios reportan mejoras en su situación económica y se aprecia que han estimulado la construcción de relaciones sociales, “no se registran aumentos importantes en los ingresos que permitan elevar el nivel de vida de la población beneficiaria”17.

14 ECDC-07, Informe Final., pág. 245. 15

Ibíd, pág. 106. 16

ECDC-07, Resumen Ejecutivo, pág. 10. 17

Ibíd, pág. 11.


15

Finalmente, la ECDC-07 analizó el desempeño de los CDC más eficientes y eficaces, en general son aquellos que “cuentan con una oferta de servicios múltiple, respuesta de usuarios intensa, estructura física adecuada, perfil homogéneo de usuarios, alta intensidad de uso, origen concentrado de recursos y oferta no especializada”18.

Metodología

La metodología combinó técnicas de análisis cuantitativo y cualitativo.

En el primer caso, se obtuvo información para dos dimensiones de análisis:

1. A partir de una muestra de CDC, seleccionada de manera aleatoria y estratificada, se obtuvieron datos sobre la operación, aspectos financieros, espacios construidos y oferta de servicios (cursos, talleres, etc.).

2. A partir de una submuestra de la muestra anterior, se aplicaron encuestas a usuarios y ex usuarios (en centros que no operaban), para obtener información sobre el perfil socioeconómico de los usuarios y su percepción sobre los CDC.

El enfoque cualitativo permitió recopilar experiencias de los usuarios y no usuarios, así como de actores clave (responsable del programa en las delegaciones, autoridades municipales, coordinadores de CDC, líderes comunitarios y prestadores de servicios) sólo es indicativa de ellos mismos, es decir, no es probabilística.

El equipo meta evaluador considera que la metodología desarrollada fue adecuada para llevar a cabo el monitoreo de los procesos de gestión y operación de los CDC, desde un enfoque descriptivo.

Por otro lado, los resultados del análisis cuantitativo sobre los usuarios y ex usuarios no es posible generalizarlos ya que la metodología no garantiza que se trate de una muestra probabilística (se indica que es posible realizar las entrevistas a “juicio” a 20 usuarios en la submuestra), es por ello que los resultados presentados solamente son indicativos de las personas entrevistadas; adicionalmente, una análisis de tipo multi-variante podría haber sido más enriquecedor que el meramente descriptivo, por ejemplo, desarrollando índices de satisfacción.

c. Evaluación de Infraestructura Básica 200719

Esta evaluación tuvo como propósito determinar el impacto del Programa Hábitat en la provisión de infraestructura básica (agua potable, drenaje y electricidad). El análisis cuantificó los cambios en la provisión de los servicios entre grupos de comparación (polígonos) similares (con y sin intervención de Hábitat), considerando los datos registrados en el Censo de Población 2000 y del Conteo 2005, lo que refleja los 2 primeros años de operación del programa (2003 y 2004).

Como resultado del análisis, la EIB-07 reportó “impactos favorables y robustos en el acceso a drenaje”, al detectar que los polígonos que “implementaron programas de alcantarillado con apoyo de Hábitat redujeron el porcentaje de viviendas sin conexión a drenaje aproximadamente tres puntos porcentuales más que los polígonos similares pero que no tuvieron ningún apoyo de Hábitat”. Los impactos en acceso a agua potable y a

18

Ibíd, pág. 12. 19

EIB-07, Resumen Ejecutivo, págs. ix a xii.


16

electricidad no se consideraron suficientemente robustos como para ser atribuibles al programa.

Para explicar la falta de impacto del programa en los dos servicios antes mencionados, la Evaluación sugiere como posibilidades la dilución de los recursos del programa en diversas acciones o sub-areas, o bien la reasignación de recursos por parte de los municipios para realizar obras similares en los polígonos no atendidos por el programa. Sin embargo, precisa que no encontró elementos para corroborar ninguna de estas hipótesis.

Metodología

La metodología empleada en esta evaluación fue de tipo cuantitativa enmarcada dentro de los diseños cuasi experimentales: el aparejamiento por propensión; el método hizo uso de la información del Censo de Población y Vivienda 2000 y del Conteo de Población y Vivienda 2005, ambos del INEGI.

Las variables sobre las que se midió el impacto del programa en el periodo del 2000 al 2005 fueron: 1) cambio en el porcentaje de hogares sin agua en la vivienda; 2) cambio en el porcentaje de hogares sin agua en el terreno; 3) cambio porcentual en el acceso a drenaje; y, 4) cambio en el porcentaje de hogares sin luz eléctrica.

En opinión del equipo meta evaluador, si bien la metodología fue adecuada, debe señalarse que no obtuvo resultados concluyentes.

d. Evaluación Específica de Desempeño 200820

De acuerdo con el análisis realizado en la EED-08, la diversidad de acciones del programa no se refleja debidamente en planteamiento de su fin, propósito, componentes e indicadores. También apreció que los recursos financieros del programa son insuficientes respecto a su multiplicidad de objetivos, por lo que recomienda focalizar los recursos y actividades del programa “a no más de dos dimensiones en las que pueda realmente influir para la superación de la pobreza urbana”.

Si bien reconoció a Hábitat como “el programa social de atención a la pobreza urbana más importante del gobierno federal”, señaló que “a pesar de que Hábitat se ha beneficiado de diversas evaluaciones de carácter cuantitativo y cualitativo, es difícil encontrar resultados robustos sobre el impacto del programa. Sus contribuciones más importantes parecen estar en el mejoramiento de los servicios básicos de infraestructura urbana en los polígonos pobres”, por lo que respalda la realización de una amplia Evaluación de Impacto.

Otras sugerencias de esta Evaluación se refieren a fortalecer el sistema de seguimiento de los proyectos, conjuntar recursos con otras instituciones y procurar una mayor participación de los beneficiarios.

20

EED-08, págs. 27 y 28.


17

e. Evaluación Específica de Monitoreo de Obra Pública 200921

Esta Evaluación comprendió la revisión de una muestra de obras nuevas ejecutadas por 5 programas, entre ellos Hábitat. Para este programa, se encontró la totalidad de las obras, identificándose que el 95% de las mismas se encontraba operando; de las obras que no estaban en operación, se identificó como principal causa la falta de conexión a la red de servicios públicos. Asimismo, se reportó que 68.4% de los beneficiarios entrevistados consideró que la obra esa muy útil.

Derivado de la inspección de las obras, la EEMOP-09 identificó que uno de los mayores retos del programa es incrementar la vida útil de las obras a partir de la promoción de “una cultura del mantenimiento de las obras por parte del ayuntamiento y la comunidad, particularmente en las que son de beneficio indirecto a la población como electrificación, vialidades, banquetas y alcantarillados”. En este sentido, propuso la obligatoriedad de un plan de mantenimiento para todos los proyectos de obra pública, el cual “reúna los elementos necesarios y suficientes para que pueda verificarse su cumplimiento”. También recomendó establecer incentivos para propiciar el adecuado mantenimiento de las obras.

Asimismo, con el propósito de aumentar la vida útil de las obras y mejorar la eficiencia en el uso de los recursos, sugirió el fortalecimiento de las figuras de participación social, desde la decisión sobre las obras a realizar, hasta el mantenimiento de las mismas.

Metodología

El estudio contempló dos enfoques de análisis:

1. Análisis cualitativo: entrevistas estructuradas a actores clave (responsables del programa en las delegaciones, las autoridades municipales, instancias ejecutoras, entre otros), con el fin de obtener su percepción sobre los proyectos desarrollados.

2. Análisis cuantitativo: se integró por tres encuestas:

a. Encuesta de verificación física b. Encuesta a beneficiarios c. Encuesta a responsables de la operación de la obra.

Para el caso del análisis cuantitativo, se obtuvo una muestra de proyectos, seleccionados mediante un esquema probabilístico, bietápico y por conglomerados. Se determinó una cuota de beneficiados a entrevistar en cada obra muestreada y la selección del informante fue a conveniencia (el que se encontrará al momento de la visita de campo), por lo que los resultados de esta sección solo son indicativos de las personas entrevistadas.

La metodología implementada se considera adecuada en cuanto al logro de su objetivo mayor, que fue supervisar la obra pública ejecutada de 2002 a 2007; los resultados permiten estimar indicadores sobre la existencia, operación y mantenimiento que recibe la obra y hacer inferencia con ellos. Sin embargo, se considera que adolece de una metodología más adecuada para estimar la utilidad y satisfacción de los beneficiarios; en primera instancia, la selección de ellos no fue probabilística, además de que sería más conveniente desarrollar un análisis de ecuaciones estructurales, identificando las variables latentes que inciden en la satisfacción. También es cierto que el estudio de la satisfacción podría demandar una evaluación independiente y que los resultados encontrados resultan útiles para tener un primer acercamiento sobre la percepción de los beneficiarios.

21

EEMOP-09, Conclusiones, págs. 12 a 25.


18

f. Evaluación Específica de Desempeño 2009-201022

En esta Evaluación se resaltan los resultados del programa en la provisión de infraestructura en los Polígonos Hábitat; en particular destaca que los avances en cuanto a la introducción de redes de agua (67.4% de la población objetivo) y drenaje en (80.1%).

Respecto a la modalidad de Desarrollo Social, reconoce los esfuerzos del programa para promover el incremento de capacidades individuales y comunitarias, la participación de la población atendida y la equidad de género, así como la prevención de la violencia.

La EED-09-10 recomendó la realización de evaluaciones para “conocer el avance en la reducción de la pobreza urbana”, a fin de identificar “cuáles han sido las acciones más efectivas y consistentes del Programa para reducirla”. También sugiere “evaluar si el rubro de Centros Históricos debe permanecer como parte de este Programa” y revisar otros programas sociales para conocer si tienen duplicidades con Hábitat. Sobre la MIR, apreció la posibilidad de “mejorar la solidez técnica de los indicadores en la MIR y de la información registrada”.

g. Evaluación Específica de Desempeño 2010-201123

La EED-10-11 reportó resultados positivos de varias de las metas del programa en 2010. Asimismo, señala que en sus casi nueve años de existencia, el programa “ha sido capaz de construir y entregar obra pública a más del 40% de la población en situación de pobreza”. En su apreciación, estos resultados muestran que “las metas del programa fueron diseñadas correctamente y que la inversión continuada a lo largo de los años estaba bien planeada.”

Como parte de los resultados de su análisis, la Evaluación recomendó “establecer un método que permita conocer y evaluar la acumulación de obras y acciones dentro de los polígonos Hábitat en las zonas urbano marginales” con el propósito de identificar aquellas acciones o polígonos que debieran “graduarse del programa”.

Por otro parte, la EED-10-11 sugirió la revisión de los indicadores incluidos en la MIR a efecto de asegurar la posibilidad de monitorear su evolución respecto a otros años.

h. Evaluación de Consistencia y Resultados 2011-201224

En relación con la efectividad del programa, la ECR-11-12 señala que Hábitat “contribuye a cumplir las Metas del Milenio referidas a reducir a la mitad, para el año 2015, el porcentaje de personas sin acceso sostenible al agua potable y a servicios de saneamiento básicos y mejorar considerablemente para el año 2020, la vida de por lo menos 100 millones de habitantes de tugurios”. Sin embargo, señaló que “es una intervención acotada al mejoramiento de las condiciones físicas y sociales desfavorables de los Polígonos atendidos”, pues carece de otros instrumentos necesarios para atender la pobreza como serían la educación, la salud y el fomento del empleo que son responsabilidad de otras dependencias.

22

EED-09-10, pág. 24. 23

EED-10-11, págs. 15 y 16. 24

ECR-11-12, págs. 2 a 4 y 58 a 60.


19

Respecto a sus indicadores, la Evaluación apreció inconsistencias en la definición de la población, por lo que recomendó su redefinición “considerando al área urbana como unidad de medida, por lo que la población potencial serían las ZAP urbanas, que son las que presentan el problema, y la población objetivo serían los Polígonos Hábitat, que son las áreas urbanas elegibles para la intervención del Programa”. Asimismo, señaló que los Componentes del programa reflejados en la MIR están planteados como resultados y no como productos o servicios entregados, por lo que propuso su adecuación. También apuntó que si bien las fichas técnicas de los indicadores están completas, “no se cuenta con indicadores para medir la parte del Fin referente a calidad de vida”.

Esta Evaluación también identificó que si bien el programa tiene un plan estratégico, en este no se establecen metas de mediano plazo y no se traza una estrategia de cobertura; sobre ésta última señala incluso que “los cambios en la definición y cuantificación de la población objetivo impiden determinar los avances en cobertura”25.

Sobre los procesos de selección, la ECR-11-12 reconoció avances en el “establecimiento de criterios de prioridad para la selección de proyectos y la simplificación de líneas de acción”, así como en la disponibilidad de “mecanismos documentados para verificar estos procedimientos”. Sin embargo, identificó que se carece de mecanismos de verificación para los procesos de recepción, registro y trámite, “por lo que no se confirma de manera estandarizada que los proyectos propuestos reflejan las necesidades e intereses de los avecindados del Polígono”. También apreció como área de oportunidad el hecho de que los beneficiarios no pueden presentar directamente sus iniciativas al programa26.

Finalmente, en cuanto a la vertiente Centros Históricos, la ECR-11-12 consideró que en tanto “no se dirige a la población objetivo ni contribuye al logro de su Propósito, no se justifica que sea parte de este Programa”.

Evaluación de Impacto 2008-201227

En correspondencia con la metodología empleada, los resultados atribuibles a la intervención del programa Hábitat se dividen entre cuantitativos y cualitativos. De entre los primeros destacan: Respecto de los servicios: Incremento de entre 5 y 6% en las viviendas en calles con banquetas y guarniciones. Así mismo, las calles de los polígonos intervenidos muestran una mayor probabilidad de esta pavimentadas (3.1%). En relación al alumbrado público, si bien no se apreciar efectos significativos en cuanto a la disponibilidad del servicio, se comprobó una mejoría cercana al 5% en la calidad de este servicio (medida en términos de si funcionaba por la noche). También se encontró que se ha incidido favorable en la reducción de tiempos de transporte al facilitar el traslado peatonal en banquetas y disminuir la incidencia de inundaciones mediante la instalación de drenaje.

25 Véase Tabla 2 Evolución de las definiciones de población potencial y objetivo (sección 3.1.3.) 26

En la interpretación del equipo meta evaluador, el área de oportunidad se refiere a la posibilidad de que los beneficiarios manifiesten a SEDESOL sus necesidades y así orienten sus acciones, lo que no implica se constituyan en responsables de la ejecución de la obra, lo que claramente no sería viable al carecer de personalidad jurídica. 27 Síntesis del informe final de la Evaluación de Impacto 2008-2012 del Programa Hábitat


20

Así mismo, la evaluación apreció que la conjunción de las acciones del programa se ha traducido en un incremento de 75.52 pesos en el precio promedio por metro cuadrado del suelo en los polígonos de tratamiento, casi cuatro veces más de la tasa real de apreciación en el grupo de control. En sentido similar se cuantificó que por cada peso que invierte Hábitat en proyectos de Mejoramiento del Entorno Urbano en los polígonos de tratamiento, el valor del metro cuadrado de construcción se incrementó 2.8 pesos. En relación a los beneficiarios, la evaluación reportó un incremento significativo en los niveles de satisfacción con la infraestructura física de las colonias. También se identificó quelas viviendas que cuentan con conexión de agua en sus servicios sanitarios a la vez muestran una mayor presencia de recubrimiento, lo que sugiere que las acciones del programa incentivan en los beneficiarios la realización de mejoras al interior de las viviendas. Así mismo se encontró evidencia de que los vecinos de los polígonos intervenidos muestran un mayor grado confianza entre ellos, aunque sin llegar a representar un efecto significativo sobre el comportamiento del capital social, al estar este último sujeto a factores externos como la inseguridad, el desempleo, la caída en el poder adquisitivo de los salarios y la desconfianza en las instituciones públicas. Los hallazgos del estudio cualitativo confirman los resultados positivos encontrados en el cuantitativo respecto a la inversión en infraestructura, ya que de acuerdo con las percepciones de los entrevistados, las obras de pavimentación, drenaje, agua potable y alumbrado público, han mejorado la calidad de vida de sus habitantes en lo que se refiere a la salud, el tránsito de las personas y el acceso a servicios diversos, así como en la asistencia al trabajo y a la escuela en época de lluvias. En el análisis cualitativo se identificaron áreas de oportunidad en la operación del Programa, que en la mayoría de los casos no son responsabilidad directa de Hábitat sino de la instancia ejecutora, pero afectan sus potenciales resultados entre la población beneficiaria, como son los materiales y termino de las obras.

Metodología

Se utilizaron dos enfoques cuantitativo y cualitativo. El análisis cuantitativo se utilizó para medir el impacto en el acceso y la disponibilidad de los hogares a servicios básicos, infraestructura y equipamiento urbano (agua, drenaje, pavimento, alumbrado público, banquetas, electricidad y otros pertinentes), así como el impacto en el valor inmobiliario de los predios y los efectos en el capital social. Para ello se contempló el diseño de 3 instrumentos de campo:

a. Cédula de inspección urbanística de polígono, b. Cédula de inspección urbanística de manzana y una c. Encuesta en Hogares.

La información fue recolectada en dos momentos: línea basal 2009 y seguimiento 2012, sobre una muestra de más de 11 mil manzanas. La base de datos panel final, constó de 19,417 observaciones, fue así como se garantizó que el estudio contara con el poder estadístico necesario para medir los impactos en los objetivos definidos. En este sentido, cabe resaltar, que ésta evaluación tuvo un diseño metodológico innovador para buscar el grupo contrafactual, es decir el grupo de comparación, al resolver el reto de la potencia estadística para calcular los impactos hasta el nivel de manzana –lugar donde Hábitat


21

invierte- al crear un índice para medir las carencias urbanas, con el objetivo de conocer el universo de manzanas qué por sus carencias, Hábitat pudiera atender y después realizar una selección aleatoria de qué manzanas serían el grupo de tratamiento y cuáles control en el periodo del estudio. También se definieron otro conjunto de variables, con el propósito de valorar otros posibles efectos originados por el programa, los cuales fueron agrupados en 2 grandes categorías: satisfacción con las condiciones físicas y sociales del entorno urbano, y calidad de vida en términos de las condiciones de habitabilidad y calidad constructiva de las viviendas. De manera complementaria al análisis estadístico, se llevó a cabo un estudio cualitativo en 2012, cuyo propósito fue profundizar a través de entrevistas sobre los resultados de la medición cuantitativa y explorar los procesos implícitos en las acciones del programa. Esta investigación tuvo lugar en 6 polígonos que fueron seleccionados con base en distintos niveles de rezago en infraestructura, así como en su localización en diferentes regiones del país. Las metodologías empleadas para medir el impacto en los 4 objetivos específicos de la evaluación se aprecian adecuadas, resaltando el hecho que el diseño metodológico para el análisis cuantitativo fue meticuloso en respetar los preceptos de este tipo de evaluaciones. En tanto que en la presente evaluación no vislumbran cambios en el capital social, se aprecia que persiste el reto para analizar cómo se mejoran las relaciones sociales a partir de mejoras en la infraestructura física.

3.1.2. Avances y rezagos

Para la identificación de los avances y rezagos del programa en el periodo de observación, se aprovechó la simetría estructural de la Evaluación de Consistencia y Resultados ECR-11-12 respecto a la realizada en 2007. De la comparación de las valoraciones plasmadas en cada ECR para un mismo atributo (véase tabla en Anexo 6), se identifica que el Programa Hábitat tuvo los siguientes avances en el periodo 2007-2012:

i. Diagnóstico del problema que atiende el programa. ii. Definición de las poblaciones potencial y objetivo. iii. Elaboración de un Plan Estratégico. iv. Mejoras en los indicadores de la MIR (líneas base). v. Recolección de información para monitorear su desempeño. vi. Instrumentos para medir el grado de satisfacción de su población atendida.

En forma análoga se identificaron deficiencias que, aún y cuando fueron señaladas en la ECR-07, prevalecen en la ECR-11-12, lo que evidencia rezagos en su atención:

i. No se cuenta con una estrategia de cobertura documentada. ii. No se cuenta con información sistematizada que permita conocer la demanda

total de apoyos, pues no se lleva registro de las solicitudes no aprobadas.


22

iii. Falta de mecanismos documentados para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo28.

3.1.3. Fortalezas, oportunidades, debilidades y amenazas

Para la realización del análisis, los hallazgos de cada evaluación fueron clasificados por temas. Su comparación permitió identificar la continuidad o variación de las apreciaciones de los diferentes evaluadores, que constituyen indicios para el planteamiento de la propuesta de agenda de evaluación de mediano plazo. Para fines de su discusión, los hallazgos específicos fueron clasificados como fortalezas, oportunidades, debilidades y amenazas. Cabe señalar que en algunos casos la clasificación corresponde a una interpretación del equipo meta evaluador. Es conveniente anticipar que las sugerencias asociadas a cada hallazgo, a la vez se plantean para validarse a través de una agenda de evaluación de mediano plazo (véase sección 3.3).

a. Fortalezas

Una de las fortalezas que con mayor claridad se identifica en las evaluaciones de Hábitat se refiere a la efectividad de los apoyos otorgados en la modalidad de Mejoramiento del Entorno Urbano. [Fortaleza 1]

Sus contribuciones más importantes parecen estar en el mejoramiento de los servicios básicos de infraestructura urbana en los polígonos pobres (EED-08

29).

El mejoramiento del entorno urbano por medio de obras en los hogares y en los Polígonos Hábitat, entre ellos los avances en la construcción de redes de agua potable, drenaje y electricidad (EED-09-10

30).

El programa Hábitat ha logrado un incremento constante en obras de infraestructura en los polígonos intervenidos (EED-10-11

31).

El Hábitat aporta directamente al logro de la meta del Programa Sectorial de Desarrollo Social de “incrementar de 84 a 90% (entre 2005 y 2012) la proporción de hogares ubicados en las zonas urbano-marginadas identificadas con disponibilidad de servicios básicos (agua, drenaje y electricidad), respecto al total de hogares ubicados en las zonas urbano-marginadas” (ECR-11-12

32 ). A este

28

De acuerdo con ECR-11-12 (pág. 35, pregunta 29) “el Programa plantea que no puede verificar que las propuestas reflejen las necesidades y prioridades de los avecindados del Polígono, ya que su elaboración, de acuerdo con las necesidades de la población, las prioridades de Hábitat y las propias prioridades de gobierno, es atribución autónoma de los municipios. No obstante esta posición, el equipo evaluador considera que la verificación por parte del Programa de la incorporación de los requerimientos de los habitantes del Polígono es una tarea crítica, ya que de lo contrario el Hábitat no logrará beneficiar adecuadamente a toda su población objetivo. Para ello se podría aprovechar a las contralorías sociales y los observatorios urbanos locales”. El equipo meta evaluador coincide con esta última apreciación. 29

Pág. 26. 30

Pág. 24. 31

Pág. 15. 32

Pág. 2.


23

respecto, se puede apuntar también la estimación actualizada 2012 según la cual se alcanzará una cobertura de 92.9%33.

También en respaldo a esta modalidad, la EED-09-1034 retoma los resultados de la EEMOP-

09 en el sentido de que “los resultados del programa Hábitat eran satisfactorios porque todas las obras existían; 95.0% operaba y 99.0% de los beneficiarios percibía que la obra tenía algún grado de utilidad (68.4% consideraba que eran muy útiles)”.

Otra fortaleza que se reconoce en las evaluaciones de Hábitat es la que se refiere a la vinculación entre las acciones de Mejoramiento del Entorno Urbano con otras relativas al Desarrollo Social y Comunitario: [Fortaleza 2]

El uso de instrumentos de política urbana y social (EED- 0835).

La combinación de instrumentos de obra material, organización social y creación de capacidades (EED-09-10

36).

Sus obras más destacadas han sido la construcción de infraestructura física (básica y complementaria), la atención a hogares y la formación de organizaciones comunitarias (EED-10-11

37).

Sin embargo, la ECR-11-1238 matiza esta apreciación al señalar que “El Hábitat es una

intervención acotada al mejoramiento de las condiciones físicas y sociales desfavorables de los Polígonos atendidos que no incorpora políticas de formación de capital humano mediante educación y salud, de fomento del empleo y de generación de ingresos, que son responsabilidad de otras dependencias”, lo que sugiere que no se aprecian resultados relacionados en cuanto a mejora del capital humano. Cabe señalar que en respuesta a esta apreciación, la PI-ECR-11-12 indicó que el programa “contribuye a la formación de capital humano y mejora las posibilidades de aumentar los ingresos familiares, mediante acciones para el desarrollo y la nutrición, salud comunitaria, apoyos para el proceso educativo, promoción de la equidad de género y derechos ciudadanos, prevención de la violencia y para el desarrollo de capacidades para el trabajo”.

En sentido similar, dos evaluaciones destacaron como fortaleza la satisfacción de los beneficiarios con el Mejoramiento del Entorno Urbano: [Fortaleza 3]

Los apoyos a la organización y participación de la población objetivo, reflejados en la satisfacción de los beneficiarios con las obras (EED-09-10

39).

La población encuestada muestra satisfacción con la mejora de las condiciones físicas de los polígonos intervenidos (EED-10-11

40).

Cabe apuntar que esta fortaleza se percibía más bien como una oportunidad en la EED-08, pues en ella se señalaba que “El fortalecimiento del programa se dará en una forma

33

Subsecretaría de Prospectiva, Planeación y Evaluación, SEDESOL (2012). Indicadores de Desarrollo Social, año 2, núm. 38, pág. 3. 34

Pág. 15. 35

Pág. 27. 36

Pág. 24. 37

Pág. 15. 38

Pág. 2. 39

Pág. 24. 40

Pág. 15.


24

importante cuando los beneficiarios se involucren más y tengan el sentimiento de pertenencia de las obras”41.

En particular para la modalidad de Desarrollo Social y Comunitario, las EED-09-1042 y EED-

10-1143 coincidieron en reconocer la asignación de recursos hacia acciones orientadas a

promover la equidad de género y la atención a las víctimas de la violencia, aunque en el caso de la EED-09-10 apunta que “será necesario precisar metas y mejorar su impacto en las poblaciones vulnerables a la violencia”44. [Fortaleza 4]

En cuanto a los procesos involucrados en la operación del programa, dos evaluaciones destacaron de forma positiva el procedimiento de selección y monitoreo de la operación: [Fortaleza 5]

Tiene mecanismos estandarizados para seleccionar, apoyar y seguir propuestas en su operación (EED-08

45).

Se tienen procedimientos adecuados para seleccionar proyectos y beneficiarios, otorgar los apoyos y ejecutar las obras y acciones. Además, se cuenta con mecanismos documentados para verificar estos procedimientos. El SIIPSO contiene la información requerida para monitorear adecuadamente la operación (ECR-11-

1246).

Otra fortaleza señalada por la EED-0847 es que el programa “tiene información

sistematizada para conocer la demanda de apoyos y las características de los solicitantes, así como para determinar la posición geográfica de los polígonos donde se concentra la pobreza patrimonial”. [Fortaleza 6]

Por su parte la Evaluación de Impacto 2008-2012 apreció que los beneficios directos e indirectos que genera la intervención de Hábitat coadyuvan al cumplimiento de sus objetivos centrales de “contribuir a la superación de la pobreza y al mejoramiento de la calidad de vida de los habitantes de zonas urbano-marginadas”. [Fortaleza 7]

Finalmente, la misma Evaluación de Impacto demostró que las acciones realizadas por el programa inciden favorablemente en valor inmobiliario e incentivan la inversión de los propios beneficiarios en sus viviendas. [Fortaleza 8]

41

Pág. 27. 42

Pág. 15. 43

Pág. 27. 44

Pág. 15. 45

Pág. 27. 46

Pág. 3. 47

Pág. 3.


25

b. Oportunidades

Como se anticipó al identificar la fortaleza de Hábitat para vincular las acciones de Mejoramiento del Entorno Urbano con las de Desarrollo Social y Comunitario, pero señalar que el programa “no incorpora políticas de formación de capital humano mediante educación y salud, de fomento del empleo y de generación de ingresos, que son responsabilidad de otras dependencias” (ECR-11-12

48 ), las siguientes evaluaciones incluyeron señalamientos que indican la posibilidad de mejorar el desempeño del programa si perfecciona su coordinación con otras instituciones: [Oportunidad 1]

ECR-0749

: El equipo evaluador no cuenta con las evidencias suficientes para determinar el grado de efectividad en la coordinación de los programas federales con los que se relaciona y se complementa Hábitat.50

EED-0851: El trabajar en conjunto con otras instituciones puede ayudar a tener una

mayor cantidad de recursos para inversiones.

EED-09-1052

: Sería recomendable comparar éste con otros programas sociales para conocer si existen duplicidades entre ellos.

EI-08-12: Con el fin de potenciar el impacto del programa sobre el capital social, se sugiere fortalecer la participación coordinada de otros programas sociales cuyos objetivos pudieran ser complementarios o convergentes,

EI-08-12: Extender la difusión de Hábitat y de otros programas sociales, así como mejorar la coordinación con todos aquellos programas que tienen una gran incidencia en el medio urbano.

Respecto de este mismo tema, la ECR-11-12 identificó 11 programas del gobierno federal con los que Hábitat puede tener coincidencia o complementariedad53. De acuerdo con información proporcionada por el Programa para esta Meta Evaluación54, Hábitat dispone de medios de control sustentados en sus RO para establecer coordinación y evitar la duplicidad de esfuerzos. Asimismo, debe señalarse que conforme a las atribuciones previstas para los gobiernos municipales en el artículo 115, la coordinación de acciones es una responsabilidad que en primera instancia recae en dichas entidades. Sin embargo, en opinión del el equipo meta evaluador, Hábitat, o mejor aún la SDUOT, puede contribuir a subsanar deficiencias de los gobiernos municipales a través de la formalización de mecanismos de coordinación con otros programas a nivel federal para promover la estandarización de los procesos de coordinación a nivel municipal.

Otra inquietud se refiere a la efectividad y eficiencia con que el programa busca alcanzar su propósito. En este sentido, se percibe la oportunidad de mejorar la identificación de las

48

Pág. 58. 49

Pág. 138 (pregunta 70). 50

Derivado de esta observación, en 2008 se estableció un ASM que se valoró subsanado en marzo de 2011 con el “Reporte MPPS UPAPU 20110330” extraído del SIPPSO. 51

Pág. 27 52

Pág. 24 53

Pregunta 13 (pág. 19) y Anexo 11, ECR-11-12. 54

Documento interno Hábitat. Interacción con otros programas federales.


26

necesidades de la población para determinar las acciones más pertinentes en cada localidad: [Oportunidad 2]

Como no se ha elaborado un análisis de estrategias que compare al Hábitat con otras intervenciones que atacan la pobreza urbana, tales como políticas de desarrollo económico, de redistribución fiscal del ingreso, de desarrollo urbano, de seguridad pública y de fortalecimiento del Estado de derecho, no se muestra que sea más eficaz que otras alternativas para revertir las condiciones físicas y sociales desfavorables de los polígonos (ECR-11-12

55).

Para precisar el área de oportunidad conviene enunciar el proceso de identificación de necesidades y presentación de propuestas según se describe en la ECR-11-12

56:

“A partir de la promoción, el ejecutor y la población de los Polígonos Hábitat elaboran los planes de desarrollo que les permiten identificar las necesidades y prioridades de las obras y acciones que requiere su entorno. El ejecutor, con base en los planes de desarrollo, identifica las obras y acciones elegibles de acuerdo con las ROP, y elabora una propuesta de proyecto, integrando un expediente técnico con anexos y perfil ejecutivo, con lo cual sustenta la propuesta de obras que presenta a la delegación”.

De lo anterior, considerando la debilidad institucional de muchos gobiernos municipales, el equipo meta evaluador aprecia la conveniencia de que Hábitat establezca procedimientos de verificación respecto a la pertinencia de las propuestas. En este sentido, se propone conformar un “Expediente del Municipio” que sistematice la información de los estudios y proyectos realizados por todos los programas de SEDESOL (o al menos de la SDUOT) y se enriquezca gradualmente con datos de otras fuentes (INEGI, CONAPO y otras entidades del gobierno) para un mismo municipio, a efecto de que cada nueva propuesta pueda ser validada documentalmente en función de su consistencia con la información disponible en dicho expediente. Para perfeccionar esta idea es necesario revisar los procesos involucrados en la promoción, recepción y selección de proyectos, para lo cual se plantea la realización de una Evaluación de Procesos (véase sección 3.3) 57.

Un hallazgo de evaluaciones previas que ahora se visualiza como oportunidad corresponde a la pertinencia de separar de Hábitat la vertiente relacionada con los Centros Históricos [Oportunidad 3]. En la EED-09-10

58 se indicó que “es necesario evaluar si el rubro de Centros Históricos debe permanecer como parte de este Programa”, en tanto que en la ECR-11-12

59 se recomendó lo siguiente:

“Dado que la vertiente Centros Históricos no se dirige a la población objetivo ni contribuye al logro de su Propósito, no se justifica que sea parte de este Programa, por lo que se recomienda que la SEDESOL solicite a la Cámara de Diputados que asigne su ejecución a otra dependencia con mayor pertinencia, como la SECTUR o CONACULTA”.

La Posición Institucional frente a este planteamiento ha sido firme en señalar que:

55

Pág. 58. 56

Pág. 32, pregunta 26. 57

Estas propuestas también forman parte de la Meta Evaluación 2007-2012 de los Programas PREP y PRAH. 58

Pág. 24. 59

Pág. 58.


27

Es necesario reiterar que los apoyos para la protección, conservación y revitalización de los centros históricos de las ciudades inscritas en la lista del patrimonio mundial de la UNESCO, no distraen recursos para la superación de la pobreza; son un mandato de la Cámara de Diputados al programa Hábitat por medio del Presupuesto de Egresos de la Federación para ahorrar gastos de operación. Hábitat es el único programa de la SEDESOL con cobertura y capacidad operativa para ejercerlos (PI-09-10).

La protección y revitalización de los centros históricos en las ciudades inscritas en la lista del Patrimonio Mundial de la UNESCO, además de ser un mandato de la Cámara de Diputados por medio del Decreto de Presupuesto de Egresos de la Federación, tiene como propósito beneficiar a los habitantes de dichas ciudades entre los que se encuentra la población objetivo de Hábitat, y que hace eficiente el gasto público al evitar la creación de estructuras administrativas paralelas para la ejecución de subsidios bajo los mismos esquemas operativos (PI-11-12).

Asimismo, la apreciación de las evaluaciones antes citadas ha formado parte del mecanismo de Aspectos Susceptibles de Mejora desde el Mecanismo 2008, considerándose como “No Pertinente”60 bajo los mismos argumentos presentados en los documentos de PI, señalándose además las sinergias entre diferentes instancias públicas y privadas. Adicionalmente, el programa facilitó un documento de trabajo61 en el que se señalan los logros alcanzados por esta vertiente, entre los que se puede destacar el “Corredor Peatonal Madero” del centro de la Ciudad de México.

No obstante lo anterior, el equipo meta evaluador considera que los apoyos asociados a la rehabilitación de Centros Históricos puede desarrollar un mayor potencial al abordarse desde la perspectiva del rescate de espacios públicos. En tanto que el Programa de Rescate de Espacios Públicos es también un programa a cargo de la SDUOT, se percibe la viabilidad de traspasar esta vertiente sin detrimento del conocimiento adquirido por Hábitat en su operación y con relativa sencillez en cuanto al ajuste de presupuesto y los aspectos administrativos.

En sentido similar, se aprecia que los apoyos otorgados por Hábitat para la construcción de parques y canchas deportivas dentro de los Polígonos Hábitat pueden mejorarse en su efectividad si se asignan a PREP en función de su especialidad en espacios públicos.

Un hecho importante a señalar es el que en las evaluaciones posteriores a la ECR-07 no se encontraron menciones asociadas con la modalidad de Promoción del Desarrollo Urbano. Esta ausencia es indicativa de la insuficiencia en el monitoreo al desempeño del programa respecto de esta modalidad, por lo que no es posible precisar aspectos susceptibles de mejora. [Oportunidad 4]

En su momento, la ECR-07 señaló que “las intervenciones en la modalidad Promoción del Desarrollo Urbano, orientadas a fortalecer las capacidades de gestión y planeación en los ámbitos locales, debería constituir un requisito indispensable para que los recursos que se invierten en infraestructura se apliquen de acuerdo con planes que establezcan prioridades e impactos sustentados en estudios y análisis serios”62.

60

De acuerdo con el Análisis de Pertinencia de los ASM de octubre 2012 proporcionado por el Programa. 61

Documento de trabajo-Hábitat. Permanencia de los apoyos a Centros Históricos en el Programa Hábitat. 62

Pág. 147 (pregunta 79). Asimismo, esta observación parece haber propiciado un ASM en el Mecanismo 2008 que se subsanó con la incorporación de criterios de prioridad para la selección de proyectos en las ROP 2009.


28

Para el equipo meta evaluador es recomendable evaluar la conveniencia de integrar en un solo programa el otorgamiento de apoyos para el desarrollo de instrumentos de planeación, de modo que se pueda establecer una seriación en la elaboración de los mismos. Se percibe que el Programa Prevención de Riesgos en los Asentamientos Humanos (PRAH) puede ser fortalecido en este sentido; los Atlas de Riesgo impulsados por este programa deben ser el insumo básico para una adecuada planeación del desarrollo urbano (véase la propuesta de Evaluación Estratégica en la sección 3.3.).

En circunstancia similar están las acciones relacionadas con la prevención de desastres naturales en los Polígonos Hábitat. Por la especialidad de PRAH, se aprecia la viabilidad de reubicar estas acciones en dicho programa, pues con ello se fortalece su realización (véase sección 3.3.). [Oportunidad 5]

Así mismo, se aprecia que los “Apoyos a ciudades afectadas por desastres naturales”, entre las cuales se encuentra el otorgamiento de apoyos para la reposición de enseres domésticos tienen un enfoque en hogares afectados por desastres no coincide con la focalización territorial del programa. Se sugiere valorar su realización a través de otro programa de SEDESOL cuyos apoyos se otorguen directamente a las personas (véase sección 3.3.). [Oportunidad 6]

c. Debilidades

De la revisión de las evaluaciones al Hábitat en el periodo 2007-2012 se identifica que una debilidad persistente es la dificultad para medir de forma consistente la población y por tanto la evolución en la cobertura [Debilidad 1]. La deficiencia se incorporó como ASM en 2010 y se podría considerar subsanada con la Nota sobre Población Potencial y Población Objetivo (NPPO) 2011, de la que se reproduce y complementa la Tabla 2.

Sin embargo, respecto a la última definición (NPPO-11), la ECR-11-1263 señaló que la

definición de población potencial no corresponde a toda la que presenta el problema (pues no todos los hogares se encuentran en situación de pobreza) y la de población objetivo no se refiere a la que se busca atender en el mediano plazo (pues se limita a un año)64.

De igual forma, la ECR-11-1265 hace notar el enfoque territorial del Programa y en ese

sentido propone redefinir la Población Potencial y Población Objetivo utilizando como unidad de medida directamente el número de Polígonos Hábitat. A este planteamiento, la PI-12 para dicha evaluación responde:

“El enfoque territorial de Hábitat responde a la necesidad de aplicar eficientemente los subsidios federales. Los polígonos Hábitat se identifican con una metodología que valora los niveles de pobreza, las carencias en infraestructura básica y la marginación. Se considera que es correcto que su población potencial y su población objetivo se definan a partir de los habitantes de los polígonos Hábitat. Los avances en la cobertura del programa se pueden constatar en los resultados de su Evaluación Específica de Desempeño 2010-2011”.

63

Pág. 58. 64

Cabe precisar que los criterios establecidos por CONEVAL (Punto 2.1.4 del Modelo de Términos de Referencia para la Evaluación de Consistencia y Resultados) no especifican una temporalidad, por lo que técnicamente es válida la asimilación de la población objetivo a la meta anual, aunque igualmente queda abierta la posibilidad de revisar la conveniencia de plantear metas de mediano plazo. 65

Pág. 58.


29

Tabla 2. Evolución de las definiciones de población potencial y objetivo

Documento Población potencial Población objetivoPoblación

atendida

Evaluación de Consistencia y

Resultados, 2007

La población que se encuentra bajo

condiciones de pobreza patrimonial en

áreas urbanas (5,090,247 hogares y

25.0 millones de personas).

Hogares en las Zonas Urbanas Marginadas (ZUM)

donde se concentran los hogares en pobreza patrimonial

(3,125 polígonos con más del 50% de los hogares en

pobreza).

--

Evaluación Específica de

Desempeño, 2008-2099

Hogares urbanos en pobreza

patrimonial (5,090,247).

Hogares pobres residentes en Polígonos Hábitat

(1,949,128).633,826 hogares.





Hogares asentados en Polígonos Hábitat en zonas

urbanas marginadas con mayor concentración de

hogares en situación de pobreza, ubicados en ciudades

de al menos 15 mil habitantes; la concentración de estos

hogares debe ser al menos el 50%, presentar déficit de

infraestructura y con tenencia de la tierra regularizada

(1,952,667).

1,609,089

hogares





Hogares asentados en polígonos Hábitat, en zonas

urbanas marginadas con mayor concentración de

hogares en situación de pobreza, ubicados en ciudades

de al menos 15 mil habitantes, con una concentración

de hogares en pobreza patrimonial de al menos 50%,

con déficit de infraestructura, equipamiento y servicios

urbanos (4,133,013).

1,772,584

hogares

Diagnóstico del Programa

Hábitat, 2010

Población que habita en Zonas de

Atención Prioritaria (ZAP) urbanas.

(7,398,270 hogares y 31,260,594 de

personas).

Es el conjunto de ZAP-urbanas en las que se presenta

mayor concentración de hogares en situación de

pobreza (4,108,809 hogares y 17,604,981 personas).

--

Nota sobre Población Potencial

y Población Objetivo 2011

La población potencial del Programa se

define ahora como los hogares

asentados en los Polígonos Hábitat

identificados.

La población objetivo estará compuesta por la meta

anual de hogares residentes en los Polígonos que se

benefician de la intervención del Programa Hábitat.

Fuente: Nota sobre Población Potencial y Población Objetivo 2011

Como se puede apreciar, la PI difiere del planteamiento de la NPPO-11 pues considera personas en lugar de hogares (aunque es claro que los primeros forman parte de los segundos). Frente a esta diversidad de unidades de medida, se aprecia conveniente definir la unidad de medida (Polígono, Hogar o Persona) más conveniente para cada tipo de acción y clarificar las equivalencias entre unas y otras al realizar estimaciones.

Una recomendación de la EED-10-1166 en el sentido de “establecer un método que permita

conocer y evaluar la acumulación de obras y acciones dentro de los polígonos Hábitat en las zonas urbano marginales” generó dos Aspectos Susceptibles de Mejora en el Mecanismo 2011 que actualmente se reportan en proceso:

Analizar la acumulación de obras y acciones dentro de los polígonos Hábitat, intervenidos para reducir la carencia de acceso a servicios básicos en función de la metodología para la medición oficial de la pobreza, así como obras de infraestructura complementaria67.

Identificar las condiciones que deben alcanzar los polígonos Hábitat intervenidos para separarlos de la cobertura del programa68.

66

Pág. 16. 67

En la actualización a octubre 2012 de los ASM, se reporta con un avance de 50% indicando que “se encuentra en proceso el análisis de la inversiones de Hábitat en infraestructura urbana complementaria (pavimentación, alumbrado público, guarniciones y banquetas)”. 68

En la actualización a octubre 2012 de los ASM, se reporta con un avance de 0%.


30

En la apreciación del equipo meta evaluador, esta recomendación de la EED-10-11 y los mismos ASM dejan entrever que la información sistematizada de los proyectos ejecutados no es utilizada para valorar los avances y definir nuevos proyectos a nivel de cada polígono y municipio. [Debilidad 2]

Esta debilidad se relaciona con la propuesta planteada anteriormente en el sentido de conformar el “expediente del municipio” (véase Oportunidad 2). Se considera que la revisión sistemática de esta información como parte del proceso de selección de proyectos, además de conducir a una programación más eficiente y eficaz en la atención de las necesidades de cada localidad, debe también permitir identificar cuando un polígono alcance las condiciones que en su caso se definan para separarlo de la cobertura del programa.

Por otra parte, sin que esto sea atribuible al Programa Hábitat, se percibe como debilidad que la estructura prevista para las EED es insuficiente para profundizar de forma regular en el análisis del desempeño del programa [Debilidad 3].

Esta debilidad está implícitamente reconocida en comentarios de Posición Institucional:

Sin duda establecer un formato conciso como el de la EED resulta útil para la rendición de cuentas. Sin embargo, es necesario adaptar el formato de la EED para superar sus limitaciones, se considera necesario brindar mayor flexibilidad en el tipo y número de documentos que pueden ser presentados al equipo evaluador para su consideración (PI-08).

Si bien se desarrolló un trabajo de gabinete acode con los términos de referencia, se considera que la información disponible hacía factible un análisis más detallado de la información proporcionada para aportar valoraciones que, aunque sintéticas, fueran sustanciales en términos del cumplimiento de metas, población potencial, población objetivo y cobertura (PI-10).

Para subsanar esta deficiencia se recomienda impulsar que las futuras evaluaciones definidas por CONEVAL sean complementadas con el análisis de la evolución del programa en diferentes desagregados (geográficos, por modalidad, tipo de apoyo, etc.) y su correlación con fuentes externas de información, a efecto de identificar diferencias en los niveles de cobertura a nivel local.

Así mismo, el equipo meta evaluador considera que el actual funcionamiento del Mecanismo para el seguimiento a los Aspectos Susceptibles de Mejora derivados de las evaluaciones a los programas de la administración pública federal (SHCP-CONEVAL-SFP, 2011) tiene el inconveniente de no incluir la participación directa de los evaluadores. En opinión del equipo meta evaluador, este hecho no permite validar a priori que las acciones que se definen en atención al ASM correspondan a la visión del evaluador.

De lo anterior, a efecto de prevenir que las soluciones planteadas en los ASM deriven en motivo de controversia, se hace necesario que las recomendaciones de los evaluadores sean formuladas con mayor precisión en cuanto a su alcance para permitir su verificación puntual. El equipo meta evaluador se sugiere valorar la constitución de un comité consultivo (integrado por los distintos evaluadores del programa) que retroalimente oportunamente la definición de ASM.

d. Amenazas

En las evaluaciones consultadas se identifican dos riesgos externos para el desempeño del Programa Hábitat, ambos en el ámbito de los gobiernos municipales.


31

La EED-08 señala que el programa “no cuenta con un diagnóstico sobre capacidades de gestión en las ciudades”69 [Amenaza 1]. Aunque la evaluación no abunda respecto a esta observación, sugiere la existencia de áreas de oportunidad para incrementar la eficiencia en los procesos del programa y/o SEDESOL para la supervisión de las instancias ejecutoras. En sentido similar, la Evaluación de Impacto 2008 – 2012 identificó áreas de oportunidad relacionadas con el seguimiento a las instancias ejecutoras70.

Se precia de que la propuesta de conformar el “expediente del municipio” puede contribuir a identificar deficiencias y plantear recomendaciones puntuales, tanto en la etapa de planeación como en la de selección de proyectos71 . Asimismo, la recomendación de consolidar en un solo programa los apoyos para instrumentos de planeación (véase Oportunidad 4), también puede articularse con la atención a esta amenaza, pues estos instrumentos son fundamentales para el desarrollo de capacidades en los ejecutores.

Otra amenaza detectada por la EED-08 es el “Riesgo de canalizar recursos a obras no prioritarias”72, la cual también está implícita en un diagnóstico de la ECR-11-12:

“El Hábitat carece de mecanismos documentados de verificación del procedimiento de recepción, registro y trámite de las solicitudes de apoyo, por lo que no se confirma de manera estandarizada que los proyectos propuestos reflejan las necesidades e intereses de los avecindados del Polígono.”73

Es importante resaltar que la observación se refiere a mecanismos de verificación (que puedan ser ejecutados de forma centralizada) y no al propio proceso de recepción, registro y trámite, el cual está documentado por la misma Evaluación.74

Más aún, la misma ECR-11-12 precisa que:

“El procedimiento de recepción, registro y trámite no permite que los hogares de los Polígonos Hábitat presenten directamente a la SEDESOL solicitudes de apoyo para proyectos elegibles, por lo que existe el riesgo de excluir a la población objetivo que podría contar con proyectos que cumplen con los criterios de elegibilidad pero que no tiene el apoyo del ejecutor, lo que limita el logro del Propósito del Programa.”75

Estos hallazgos refuerzan la impresión apuntada anteriormente en el sentido de que el programa parece no utilizar registros sistematizados y planes integrales de intervención

69

Pág. 27. 70

Véase síntesis de la Evaluación de Impacto 2008-2012 en la sección 3.1.1. 71

Por ejemplo, si un municipio solicitó y obtuvo apoyos para la construcción de redes de agua potable y drenaje, sería razonable verificar la existencia de sistemas de tratamiento y en su caso orientarlo para que se plantee dicho proyecto. De forma similar, si un municipio tiene un nivel de riesgo elevado frente a desastres naturales y no ha elaborado su Atlas de Riesgo, se le debiera de inducir a ello de forma prioritaria; una vez existiendo este Atlas, sería posible identificar si un proyecto propuesto por el municipio se ubica en zona de riesgo para en su caso solicitar su reubicación o incluso fundamentar el rechazo de la solicitud. 72

Ídem. Cabe aclarar que esta observación se transformó en un ASM del Mecanismo 2010 y se consideró subsanado con el mantenimiento de los criterios para priorizar proyectos en las ROP-2010 (provenientes de un ASM-2008 similar subsanado en las ROP-2009, comentado en la Oportunidad 4). Sin embargo, se aprecia que dichos criterios son útiles para la selección pero no necesariamente para la elaboración de la propuesta, pues actualmente esta se concibe como una responsabilidad del ejecutor. 73

Pág. 35 (pregunta 29) y pág. 59. 74

Pag. 32 (Pregunta 26) 75

Pág. 3.


32

en cada polígono (véase mecanismos para la identificación de la población objetivo en último párrafo de la sección 3.1.2, Oportunidad 2 y Debilidad 2) para validar la pertinencia de las propuestas de las instancias ejecutoras, existiendo un margen de discrecionalidad en la solicitud de apoyos por parte de los ejecutores, que si bien no contraviene la normatividad, sí puede disminuir la eficiencia y eficacia de del programa las solicitudes no corresponden a los problemas más apremiantes de sus localidades. [Amenaza 2]

Cabe presentar la Posición Institucional a este respecto:

Conforme al Artículo 115 Constitucional, en Hábitat los principales ejecutores son los municipios, quienes identifican y proponen los proyectos a financiar […], así como en cumplimiento de los objetivos del programa (PI-11-12).

Las intervenciones ejecutadas por los municipios se apegan a la apertura programática del Programa y respetan el orden de las necesidades e infraestructura urbana. Los proyectos se dirigen, en primer término, a abatir el déficit de agua, drenaje y electrificación en cada Polígono; posteriormente, se atienden otros requerimientos en materia de servicios y equipamientos urbanos (PI-EMOP-09).

Adicionalmente, el Programa promueve que los habitantes de las zonas de actuación participen en la elaboración y actualización de planes de desarrollo de los polígonos Hábitat, en los que se identifican necesidades y se establecen las prioridades de las obras y acciones que son apoyadas por el programa (PI-EMOP-09).

En cualquier caso, para contrarrestar este riesgo, se aprecia imperativo revisar los procedimientos involucrados (véase propuesta de Evaluación de Procesos en sección 3.3) y determinar la conveniencia de conformar y utilizar el ya mencionado “expediente del municipio” como herramienta para orientar a los municipios en la identificación de las necesidades prioritarias para su población. Inclusive, el equipo meta evaluador recomienda establecer como filtro para el acceso a los programas de la SDUOT, al menos en el caso de proyectos no prioritarios conforme a ROP, la verificación de la existencia de instrumentos de planeación urbana a nivel local76.

Por otro lado, el equipo meta evaluador respalda las recomendaciones en el sentido de promover la participación social desde la etapa de planeación de los proyectos77, para lo cual se podría partir del modelo propuesto en la EMOP-09. Asimismo, también se considera necesario establecer mecanismos para que la población pueda plantear sus necesidades directamente a SEDESOL; una alternativa económica puede desarrollarse utilizando los canales existentes para recibir “Quejas”.

76

Cabe señalar que en los ASM-2008 se incluyó la solicitud de proyectos integrales por Polígono que incluyeran un diagnóstico detallado de sus rezagos y necesidades, así como una propuesta de priorización de las acciones a realizar en los años subsecuentes, la cual se consideró subsanada con el documento “Proyectos integrales por Estado 2009”; sin embargo, toda vez que la ECR-11-12 no lo identificó este documento como parte de su análisis, se presume que no ha tenido la debida continuidad. 77

Es importante mencionar que los ASM reportan acciones en el sentido de establecer comités de contraloría social en los Polígonos Hábitat atendidos, sin embargo las Evaluaciones consultadas no aportan elementos para valorar su desempeño. En cualquier caso, dichos comités se integran con posterioridad al inicio de las obras y por lo mismo, en la apreciación del equipo meta evaluador no son garantes de la atención a las necesidades prioritarias de cada localidad.


33

3.2. Revisión de informes de evaluación de resultados o de impacto en el ámbito nacional o internacional de programas similares

3.2.1. Principales resultados

Los programas similares a Hábitat que fueron considerados para la elaboración de esta sección son:

a. Programa Rescate de Espacios Públicos (PREP). México

b. Programa Barrio Argentino/Proyecto Nueva Rioja

c. Programa “Favela Bairro”. Río de Janeiro, Brasil

d. Prevención de Riesgos en los Asentamientos Humanos (PRAH). México

e. Programa Rosario Hábitat. Argentina

f. Mejoramiento Integral de Barrios. Medellín, Colombia

g. Luanda Urban Poverty Programme (LUPP). Angola

Debe señalarse que solo los primeros 3 corresponden a estudios de resultados respecto de apoyos similares a los ofrecidos por Hábitat. Los restantes son estudios o documentos informativos que si bien no muestran resultados directamente asociados a tipos de apoyo específicos, el equipo meta evaluador consideró pertinente presentar pues en sí mismos pueden constituir un referente adicional para el programa. El Anexo 2 contiene las fichas técnicas de los estudios revisados; en el Anexo 2b se presentan las fichas informativas de las demás fuentes consultadas.

a. Programa de Rescate de Espacios Públicos (PREP). México78

En relación con este programa y conforme al tipo de apoyos establecidos en sus Reglas de Operación 2012, se identifican los siguientes apoyos como similares a otros ofrecidos por Hábitat:

Construir, remozar, habilitar o rehabilitar plazas, espacios deportivos, residuales y otros espacios públicos de uso comunitario […].

Construir, ampliar y mejorar el alumbrado público, banquetas, guarniciones y otras obras necesarias alrededor del espacio […].

Promover la inclusión social y la equidad de género, dando preferencia a grupos vulnerables y personas con discapacidad […].

Sensibilizar y prevenir la violencia familiar y social para fomentar la sana convivencia.

Impulsar la conservación de recursos naturales y cuidado del medio ambiente para promover una cultura de respeto a la ecología.

Los primeros dos de la modalidad de “Mejoramiento Físico de los Espacios Públicos”, y los siguientes de la modalidad de “Participación Social”.

78

Evaluación de Consistencia y Resultados 2011-2012 del Programa de Rescate de Espacios Públicos. Secretaría de Desarrollo Social.


34

De las evaluaciones realizadas a PREP en el periodo 2007-2012, conviene señalar en primera instancia la Evaluación de la Percepción de Inseguridad, Satisfacción y Cohesión Social en Espacios Públicos 2010 y la Evaluación de Impacto 2011, pues ambas coinciden en demostrar que el programa ha tenido éxito en generar cambios positivos en cuanto a la satisfacción con el espacio público, la percepción de inseguridad en el espacio público y la apropiación del espacio público79. Por otro lado, en relación con las similitudes de PREP con Hábitat, la ECR-11-12. reportó que “ambos programas pueden desarrollar obras de infraestructura urbana, tales como alumbrado público, guarniciones, banquetas y rampas para sillas de ruedas”, e igualmente indicó que “los Centros de Desarrollo Comunitario (CDC) del Hábitat buscan que la comunidad participe en actividades deportivas, recreativas y de convivencia social”, aunque precisa que el enfoque espacial es distinto80. Por otro lado, en el seguimiento de un ASM

81, señaló que PREP había realizado prevenciones de posibles duplicidades con el Programa Hábitat82. No se encontraron recomendaciones de esta evaluación relacionadas con las similitudes identificadas. Las Evaluaciones anteriores de PREP Específicas de Desempeño 2009, 2009-2010 y 2010-2011 no incluyeron menciones sobre el Programa Hábitat; tampoco se identificaron señalamientos referentes a Hábitat en la “Evaluación de la percepción de inseguridad, satisfacción y cohesión social en espacios públicos” de 2010. El ASM mencionado previamente proviene de la EED-08. Anteriormente, sólo la Evaluación de Diseño 2007 señaló la posible existencia de duplicidades y recomendó delimitar con mayor claridad el ámbito de competencia de cada programa83.

b. Programa Barrio Argentino/Proyecto Nueva Rioja84

La evaluación ex post, tuvo en su momento el objetivo de analizar el comportamiento de los principales indicadores que dan cuenta del mejoramiento de la calidad de vida de los beneficiarios con el programa; de ahí que se diseño una encuesta la cual estuvo orientada a identificar la precepción de la población en cuanto a mejoras en las viviendas, servicios, organización comunitaria, grado de percepción y valoración de los cambios.

Destaca la consolidación y construcción de equipamiento urbano en el barrio, así como la ejecución de obras que desde hace años fueron gestionadas por los habitantes, así como el mejoramiento de las condiciones de accesibilidad y tránsito derivadas de las acciones ejecutadas en el barrio.

Avance en la consolidación urbana que fue resultado de la convergencia de las iniciativas estatales y privadas, además de diversificar la oferta de bienes y servicios en el polígono. Impulso a la regularización de la tenencia de la propiedad.

79 PREP, EPIS y CSEP-09, Resumen Ejecutivo. Evaluación de Impacto 2011, pág. 32 a 34. 80

PREP. ECR-11-12, pregunta 13. 81

Proveniente de la EED-08 de PREP. 82

PREP. ECR-11-12, preguntas 17 y 18. 83

PREP. ED-07, pregunta 33, pág. 40. 84

Gobierno de Argentina-Subsecretaría de Desarrollo Urbano y Vivienda (2004). Evaluación ex post. Barrio Argentino / Nueva Rioja, Provincia de la Rioja.


35

Los beneficiarios realizaron importantes inversiones en sus lotes para mejorar su hábitat, lo que alentó el incremento en la plusvalía de sus predios. Mejora en los ingresos de las familias.

Participación del sector privado a través de la prestación del servicio y dotación de agua potable, además de que dicha empresa cumple con sus funciones de mantenimiento preventivo y correctivo de la infraestructura.

Sin embargo, se ha profundizado el desarrollo urbano en zonas rurales no aptas para uso habitacional, derivado de la inversiones realizadas en el barrio, lo que ha incrementado la especulación del suelo. Persistencia en cuanto a fallas del alumbrado público, situación que es causada por actos vandálicos, aún cuando son reemplazados por el municipio. Permanencia de basurales en todo el perímetro del barrio, aun cuando hay un convenio con el municipio para prestar el servicio de limpia.

Se observa también que el municipio no da mantenimiento de manera constante, pues es más reactivo, dado que sólo interviene a petición de los vecinos. Baja participación en lo que respecta a la elección de los representantes de la junta vecinal, lo que constituye una situación negativa en cuanto a legitimidad.

c. Programa “Favela Bairro”. Río de Janeiro, Brasil85

Este programa fue parte de un estudio en el cual se realizó una evaluación cualitativa y de costo-beneficio, y en donde se identificaron los apoyos similares, mismos que están relacionados con la instalación y mejoramiento de infraestructura, mejoramiento de alumbrado público y vialidades, así como la construcción de equipamiento urbano.

Entre los resultados del programa señaló:

El establecimiento de Centros de Asistencia Urbana y Social, con personal de varios departamentos municipales para supervisar la fase de transición como elemento clave, a fin de asegurar que las estructuras y servicios instalados en el proyecto se usen y mantengan la función para lo que fueron diseñados. Además estos centros tienen la función complementaria de asesorar a los habitantes con respecto a derechos, beneficios, servicios que se prestan, etcétera.

Las Asociaciones de Residentes, en el marco del Programa “Favela Bairro”, anticipa el papel central de las entidades antes citadas en cuanto a mantenimiento de largo plazo de la infraestructura (agua y saneamiento) y servicios de recolección de basura.

Contempla la participación de la comunidad, pues se impulsa la coparticipación entre los tecnócratas y la ciudadanía para resolver o prever situaciones negativas, así como el de consensuar planes de mejoramiento y aprobación de los mismos.

La participación de la comunidad aparece como un factor importante en la creación de un espíritu de apropiación de las obras y por consiguiente de su conservación y mantenimiento.

85

Ramírez, Ronaldo (2002), “Evaluación Social de Políticas y Programas de Vivienda: Un Análisis de la Contribución de la Vivienda a la Reducción de la Pobreza Urbana”, Revista invi, Vol. 17, núm. 45.


36

Las agencias y firmas que diseñan y ejecutan los planes de mejoramiento, tienen una concepción limitada de la participación de la comunidad. No parece existir una práctica de asociación entre el sector privado, las ONG´s y los organismos públicos, lo que se traduce frecuentemente en relaciones contractuales y subordinadas.

Hay renuencia por parte de las autoridades e incluso de la comunidad misma (ciudadanos notables, líderes, etc.) de que los “favelados” tengan la capacidad de tomar decisiones estratégicas para mejorar su entorno.

Los habitantes sólo se interesan por las actividades de mejora cuando las obras les afectan en su entorno familiar, personal o a sus bienes, pues las Asociaciones son las que dominan las negociaciones dado que las personas que las representan “entienden mejor” la terminología del plan de mejoras.

d. Programa Prevención de Riesgos en los Asentamientos Humanos (PRAH). México86

Conforme al tipo de apoyos establecidos en las Reglas de Operación 2012 de este programa, se identifica que los siguientes apoyos son similares a otros ofrecidos por Hábitat:

Obras y acciones para la reducción y mitigación de riesgos.

Acciones ecológicas con fines preventivos. Aún y cuando cada programa tiene su propio enfoque territorial, en tanto que PRAH puede otorgar apoyos en cualquier municipio, existe la posibilidad de que las acciones se ejecuten en los polígonos de actuación de Hábitat. La única evaluación realizada hasta el momento a PRAH es la Evaluación de Diseño 2011. Al revisar complementariedades con otros programas, esta Evaluación señala que “la elaboración de planes y programas municipales de desarrollo urbano y ordenamiento territorial complementa las acciones y estudios del PRAH, espacialmente en lo que concierne a los Atlas de Riesgos y Reglamentos de Construcción”87. También señaló la coincidencia en la ejecución de Obras para la mitigación y prevención así como en acciones de reforestación, con diferencia de que las acciones de Hábitat se enfocan a sus polígonos. En relación con este hallazgo, sugirió “desligar las acciones de carácter preventivo del Hábitat para fortalecer y especializar las acciones emprendidas por el PRAH” 88.

e. Programa Rosario Hábitat. Argentina89

A través de una evaluación ex post (la cual se generó para analizar 19 casos en diferentes países), se analizaron las acciones ejecutadas por este programa. En similitud con Hábitat, entre sus acciones se realizaron obras de infraestructura urbana, medidas de

86

ERN Ingenieros Consultores S.C. Evaluación de Diseño del Programa de Prevención de Riesgos en los Asentamientos Humanos 2011. 87

PRAH. ED-11, apartado V. 88

Ídem. 89

Con información de Ramírez, Ronaldo (2002), “Evaluación Social de Políticas y Programas de Vivienda: Un Análisis de la Contribución de la Vivienda a la Reducción de la Pobreza Urbana”, Revista invi, Vol. 17, núm. 45.


37

protección social a grupos vulnerables, y el fomento a la convivencia. Los resultados fueron:

El programa ha mostrado el abordaje integral del problema de la precariedad urbana que se traduce en los elementos físico-espaciales y el componente social; por consecuencia, el modelo de intervención es complejo, pues debe considerar la coordinación entre los distintos agentes involucrados, las dimensiones y diferentes niveles de acción, así como las particularidades de cada territorio en donde se va ejecutar.

Aborda el complejo y cuantioso tema de los asentamientos irregulares en la ciudad a través de un enfoque participativo, multisectorial y flexible, considerando la problemática propia y particular de cada comunidad.

Articula componentes sociales y físicos para enfrentar las diversas problemáticas que representa la precariedad y la pobreza urbanas; en particular interviene el ámbito del empleo y la generación de ingresos por medio de esquemas de capacitación, inserción laboral e incubadoras de negocios.

Financiamiento mediante la negociación directa de las autoridades de la Ciudad de Rosario con el Banco Interamericano de Desarrollo, lo que demuestra en su momento la autonomía del municipio, situación que se constituye como precedente para que sea aplicado a otras ciudades.

Se da mayor preponderancia a la solución de problemas físicos sobre los sociales, lo que pone en duda la sustentabilidad de las intervenciones.

No hay una verdadera participación de la población y no hay un fortalecimiento de las relaciones sociales, situación que pone en riesgo la “construcción de ciudadanía”.

f. Mejoramiento Integral de Barrios; Medellín, Colombia90

El Informe de Resultados con cobertura temporal de 1992-2007, identifica como apoyos semejantes a Hábitat, los siguientes: obras de mejoramiento de la infraestructura y promoción de la participación comunitaria. Los resultados son:

El Programa de Mejoramiento Integral de Barrio (PMIB) es un modelo de intervención en asentamientos precarios reconocido a nivel mundial, y que representa la política de intervención en asentamiento humanos precarios en tanto se promueve una reforma urbana que permita el acceso al suelo y a la vivienda en zonas urbanas marginadas.

Es un esquema de intervención que exige sustento de las instituciones públicas vinculadas con el desarrollo urbano y social para que pueda “caminar”, evaluarse y ajustarse en el tiempo. La constitución de capital social es la principal base del Programa, pues la ejecución de los proyectos necesita de la concertación y la legitimidad necesarias para llegar a su consolidación.

Convergencia de recursos: donaciones o fondos internacionales, créditos de la banca, así como su gestión para poder acceder a ellos. Impacto de la inversión pública orientada a zonas de pobreza urbana y no a la consolidación de proyectos inmobiliarios de corte privado.

90

Alcaldía de Medellín (2007) Programa Mejoramiento Integral de Barrios (PMIB).


38

Carece de continuidad y de estrategias para hacer frente a la informalidad urbana con raíces en problemas estructurales; es ineficaz en lo que respecta a sostenibilidad financiera, pues sólo ha respondido a situaciones coyunturales; en consecuencia, no repercute en el mediano y largo plazos para la solución de problemáticas urbano/sociales.

Al ser un programa que sólo responde a situaciones coyunturales, no contiene estrategias de consolidación y control en el proceso de ocupación, uso del suelo, en el mediano y largo plazos, por lo que no responde a las necesidades de desarrollo urbano sustentable.

g. Luanda Urban Poverty Program (LUPP). Angola91

LUPP es un programa que tiene como propósito construir capacidad para que: a) las comunidades administren sus propios servicios básicos, b) las comunidades participen activamente en la gobernanza de las localidades y c) los gobiernos locales establezcan mecanismos de consulta, particularmente entre sectores marginados (mujeres, jóvenes, etc.), para identificar las prioridades entre las necesidades de la comunidad.

El modelo de administración comunitaria se aplicó inicialmente al abastecimiento de agua. En consulta con el organismo de aguas de la ciudad, las comunidades determinan la ubicación de los puntos de abasto. La operación y mantenimiento de los puntos de abasto recae en un comité de administración elegido por la comunidad, el cual determina las cuotas para cubrir los costos del sistema. Los comités son capacitados tanto en la operación y mantenimiento de los equipos como en administración, contabilidad y resolución de conflictos.

Los puntos de abasto han permitido elevar el consumo de agua hasta niveles recomendados entre los miembros de la comunidad, a un costo significativamente menor (hasta 20 veces).

Los grupos usuarios del sistema han aprovechado su organización para demandar y obtener mejoras en el servicio del organismo de aguas.

El modelo de administración comunitaria del sistema de abastecimiento de agua ha propiciado el desarrollo de un fuerte sentido de pertenencia entre los usuarios y su interés por su preservación y mejora, impulsando el desarrollo de tejido social. Asimismo, ha contribuido a la formación de habilidades administrativas y técnicas entre los beneficiarios.

El enfoque de recuperación de costos es un elemento importante en tanto que garantiza la sustentabilidad del sistema, pues la misma comunidad desarrolla capacidad para realizar el mantenimiento. Más aún, promueve un clima empresarial que impulsa la búsqueda de eficiencias en el uso de los recursos.

El modelo de administración-comunitaria ha mostrado efectividad como mecanismo para promover la colaboración entre autoridades y comunidades, lo que está impulsando su ampliación y réplica en otras ciudades y con otros servicios.

91

http://dw.angonet.org/luppangola.org/aboutLupp.html


39

3.2.2. Valoración de los hallazgos en el ámbito internacional respecto de Hábitat92

En general, las similitudes de los apoyos se refieren al mejoramiento del entorno urbano, así como a la incorporación de acciones tendientes a facilitar el desarrollo de capacidades entre los habitantes de las zonas intervenidas (centros comunitarios, talleres de capacitación y diversas formas de participación social). Sin embargo, también se identifican tres diferencias significativas:

1. La responsabilidad administrativa del programa y su cobertura espacial. Los programas revisados se circunscriben a un solo territorio y las entidades locales que en él operan, en contraste Hábitat que tiene un alcance a nivel nacional93.

La escala local de los programas parece incidir en facilidades para la coordinación inter-institucional94, así como para la participación de entidades del sector privado y organizaciones no gubernamentales en los proyectos. Asimismo, la identificación de responsabilidades y deficiencias pareciera ser más clara en el ámbito local.

Aunque no se niega la pertinencia de Hábitat como instrumento de política pública federal, la diferencia sugiere la conveniencia de documentar y difundir la experiencia del Programa Hábitat en distintas localidades, como un mecanismo para impulsar la identificación puntual de deficiencias y el desarrollo de mejores prácticas.

2. La atención a la irregularidad en la propiedad del suelo. Los programas revisados tienen a la regularización de la tenencia de la tierra como una de sus líneas de acción, vs. Hábitat que establece como requisito para acceder al programa el “no estar en situación irregular con respecto a la tenencia de la tierra”95.

Es importante señalar que las acciones de regularización se han acompañado de contratos que restringen la reventa de los predios96, o bien se otorgan derechos temporales para el uso colectivo de la tierra97 como mecanismo para controlar la especulación con los precios de de los terrenos.

En el caso de Hábitat, considerando el origen irregular de muchos asentamientos urbanos en México, se aprecia conveniente identificar a la población que no es susceptible de ser apoyada por el programa en función de su situación irregular en relación a la tenencia de la tierra, a efecto de discutir la pertinencia de este criterio. Más aún, se recomienda estudiar el costo-beneficio de los procesos de

92 Esta valoración se incluye con el propósito de aportar indicios sobre posibles líneas de análisis para mejoras futuras al programa. Las sugerencias no forman parte de la agenda de evaluación propuesta para el mediano plazo. 93

Véase nombres de los programas; se refieren a ciudades específicas. 94

“Favela Bairro” se apoya en Comités de Macro-Planificación (de Política Social y de Desarrollo Urbano) a nivel del gobierno de Rio de Janeiro. 95

ROP-2012. Punto 3.3.1, criterios de elegibilidad de los Polígonos Hábitat. De acuerdo con los comentarios del programa al informe preliminar de esta Meta Evaluación, la regularidad respecto de la tenencia de la tierra es “certificada” anualmente por cada gobierno municipal, por lo que se aprecia posible la incorporación de nuevos polígonos una vez que éstos son regularizados. 96

Barrio Argentino. 97

Favela Bairro.


40

regularización vs. el impulso a la oferta de suelo urbano apto y accesible para las personas en situación de pobreza98.

Esta línea de acción a la vez se acompaña de mediciones sobre la apropiación del espacio reflejada en las mejoras que los residentes realizan en sus viviendas y el comportamiento de los usuarios en el pago de servicios. Con independencia de los procesos de regularización, se aprecia que Hábitat debe enriquecer su monitoreo con indicadores en este sentido99.

3. Mayores facultades de las comunidades para decidir sobre las acciones del programa; en Hábitat la presentación de propuestas es atribución exclusiva de los gobiernos municipales100 y no se tienen establecidos canales de comunicación para que los habitantes de los territorios intervenidos presenten directamente al programa iniciativas y opinen sobre las prioridades en la atención de las mismas.

Estas atribuciones recaen formalmente en órganos de participación/representación social (Junta de Vecinos101, Asociación de Residentes102, Junta de Supervisión103), cuyo reconocimiento entre los habitantes es monitoreado como parte de las evaluaciones.

Se aprecia que este aspecto incide favorablemente tanto en la planificación integral de los proyectos de intervención, como en el desarrollo de sentido de pertenencia y la construcción de ciudadanía, por lo que sería recomendable su incorporación en Hábitat.

Finalmente, algunos estudios incluyen referencias a la sustentabilidad financiera de los programas, en particular la experiencia de Angola 104 . Se señala la importancia de desarrollar fuentes de ingreso para el sostenimiento de los programas complementarias de los recursos públicos, en particular a través de cobro de servicios y del impuesto a la propiedad. Si bien es claro que Hábitat no tiene previsiones en este sentido, el equipo meta evaluador aprecia conveniente visualizar el desarrollo de incentivos para que los gobiernos locales y/o los propios beneficiarios mejoren sus capacidades en cuanto a la generación de ingresos propios a partir de las obras apoyadas por Hábitat.

98

Diversos estudios internacionales indican que el costo de la regularización y posterior atención de urbanizaciones es significativamente mayor al de promover el acceso a suelo urbano apto. 99

De acuerdo con los comentarios del programa al informe preliminar de esta Meta Evaluación, la Evaluación de Impacto próxima a concluir permitirá obtener evidencia de resultados similares, aunque aún no suficientemente robustos para establecer metas. 100

ROP-12, Sección 4.2.2. Presentación de propuestas. 101

Barrio Argentino. 102

Favela Bairro. 103

Rosario Hábitat. 104

Luanda Urban Poverty Program.


41

3.3. Propuesta de agenda de evaluación para el mediano plazo, 2013-2018

A continuación se enumeran las evaluaciones que se considera necesario realizar en el mediano plazo. Junto con cada evaluación propuesta, se detallan los objetivos buscados así como el fundamento conforme a los hallazgos del análisis FODA. El Anexo 3 presenta un tabulado de las evaluaciones propuestas con los años de realización sugeridos en cada caso.

1. En atención a los hallazgos que sugieren: la posibilidad de mejorar el desempeño del programa mediante su coordinación con otros programas [Oportunidad 1], la posibilidad de mejorar la identificación de las necesidades de la población para determinar las acciones más pertinentes en cada localidad [Oportunidad 2], la falta de aprovechamiento de la información de los proyectos para valorar los avances y definir nuevos proyectos a nivel de cada polígono y municipio [Debilidad 2], la falta de conocimiento sobre las capacidades de gestión de los gobiernos municipales [Amenaza 1], y la existencia de un margen de discrecionalidad por parte de los ejecutores en la definición de sus proyectos [Amenaza 2], se propone realizar una Evaluación de Procesos con los siguientes objetivos:

a. Revisar los procesos de recepción y selección de propuestas, así como de seguimiento de los proyectos, para determinar la viabilidad de homologarlos e integrarlos a nivel SDUOT para de mejorar su eficiencia operativa.

b. Validar la pertinencia y factibilidad de que el proceso de otorgamiento de apoyos por parte de los programas de la SDUOT incluya la verificación de que los proyectos son congruentes con los diagnósticos y/o proyectos previamente realizados en cada municipio. [Oportunidad 2 y Debilidad 2]

c. Identificar y en su caso documentar los procesos relacionados con la participación social en las diferentes etapas de los proyectos.

Se presume que la homologación de procesos propiciaría una mejora en la eficiencia operativa de los programas105, a la vez de facilitar la sistematización de la información de las intervenciones realizadas por los programas de la SDUOT en diferentes escalas territoriales. En el mediano plazo, estos procesos posibilitarían el desarrollo de una metodología para seleccionar proyectos conforme a un diagnóstico de necesidades a nivel local (municipio) en materia de desarrollo urbano y ordenamiento territorial, minimizando el riesgo de asignar recursos a obras no prioritarias [Amenaza 2]. Asimismo, permitiría monitorear y diagnosticar las capacidades de gestión de las instancias ejecutoras [Amenaza 1].

Se recomienda realizar esta evaluación en el primer año de la administración 2013-2018. La duración estimada es de 9 meses.

2. Considerando los hallazgos que sustentan la posibilidad de: mejorar el desempeño del programa mediante su coordinación con otros programas [Oportunidad 1], gestionar la rehabilitación de Centros Históricos desde la perspectiva del rescate de espacios públicos [Oportunidad 3], fortalecer la gestión de los apoyos relacionados con la planeación y el monitoreo del desarrollo urbano y el ordenamiento territorial [Oportunidad 4], y fortalecer la gestión de los apoyos relacionados con la prevención

105

Es importante precisar que la homologación de procesos buscaría la simplificación administrativa (formatos, flujos de información etc.) en todos los aspectos comunes a los programas, pero no implica la pérdida de especialidad, pues ésta se mantendría a través de los requisitos específicos de cada programa.


42

de desastres naturales [Oportunidad 5], se recomienda la realización de una Evaluación Estratégica.

Esta Evaluación tendría como objetivo global analizar la integralidad con la que el gobierno federal contribuye, a través de sus programas, a “hacer ciudad”106. En una primera etapa, en el ámbito de la Subsecretaria de Desarrollo Urbano y Ordenamiento Territorial de SEDESOL, a partir del análisis de los tipos de apoyo ofrecidos por sus programas, y de las coincidencias y complementariedades entre ellos, la evaluación deberá determinar los ámbitos de actuación más convenientes para propiciar la efectividad y eficiencia en la implementación de las estrategias responsabilidad de esta subsecretaría. En relación con Hábitat, las principales líneas de análisis propuestas para esta evaluación son:

La pertinencia de desarrollar las acciones de rehabilitación de Centros Históricos en el contexto del rescate de espacios públicos. En sentido similar, incorporar a PREP los apoyos para jardines y espacios deportivos en los Polígonos Hábitat107. [Oportunidad 3].

La conveniencia de traspasar a PRAH los apoyos ofrecidos por Hábitat para la promoción y monitoreo del Desarrollo Urbano. [Oportunidad 4].

La congruencia de consolidar en PRAH los apoyos ofrecidos por Hábitat relacionados con la prevención de desastres naturales. [Oportunidad 5]

Asimismo, la Evaluación tendría que determinar los ajustes correspondientes en los presupuestos de los programas. En este sentido, sería necesario que incluya un análisis de la distribución de las inversiones realizadas por tipos de apoyo.

Aunque no es determinante para la realización de la Evaluación, en una segunda etapa sería conveniente enriquecerla con la participación de las entidades del gobierno federal responsables de la infraestructura social (Comisión Nacional del Agua, Comisión Federal de Electricidad, Secretaría de Educación Pública y Secretaría de Salud). El propósito sería definir las bases para formalizar la coordinación de acciones con incidencia en el desarrollo urbano.

Esta evaluación se plantea para realizarse en el segundo año de la administración 2013-2018, una vez definido el Plan Nacional de Desarrollo de modo que este forme parte de sus insumos. La duración estimada es de 9 meses.

106

“Hacer ciudad” significa construir una ciudad compacta e intensa, mezclando gente, usos, densidades y tipologías edilicias diferentes. Con espacio público de alta calidad; plazas, calles y parques de cuidado diseño y mantenimiento. Con actividades comerciales y productivas compatibles con una vida sana. Con nuevas viviendas colectivas, cómodas, eficientes energéticamente, hechas con materiales sustentables y techos verdes. Con equipamientos culturales, educativos y sanitarios para todos. Con transporte público extendido, sostenible y diversificado. Cuidando los barrios, el ambiente y nuestro patrimonio. Integrando y urbanizando las villas y las periferias informes. Posibilitando con políticas activas el acceso a una vivienda digna y urbana. Una ciudad mejor, más solidaria, donde impere la ley y donde los distintos podamos convivir sin tener que recurrir a muros y seguridad privada. Donde cada uno encuentre su lugar y pueda construir su propio proyecto de felicidad. Fuente: Marcos, Martín (2007). Hacer ciudad es nuestro desafío. http://www.plataformaurbana.cl 107 Cabe señalar que en su caso será necesario establecer bajo que condiciones PREP podría actuar en localidades de menos de 50 mil habitantes (límite inferior previsto en sus ROP), de modo que los polígonos Hábitat ubicados en dichas localidades no queden sin atención.


43

3. Para resolver las limitaciones de las EED [Debilidad 3], se recomienda realizar con regularidad (cada dos años, iniciando en 2014) una Evaluación Complementaria de Distribución de Apoyos. Esta evaluación tendría por objetivo monitorear la evolución en el tiempo de cada Tipo de Apoyo en términos de la inversión realizada, la población atendida y su distribución geográfica, a efecto de identificar diferencias en la cobertura a las carencias y rezagos en materia de infraestructura y equipamiento a nivel local. La duración estimada para esta evaluación de de 4 meses.

4. En respuesta a la debilidad detectada en cuanto a las necesidades de ajuste a la MIR

de Hábitat, en el capítulo de monitoreo se presentan sugerencias de ajuste a indicadores. Con independencia de lo anterior, sería conveniente programar una Evaluación de Indicadores que revise y proponga ajustes al conjunto de indicadores del programa.

Esta evaluación se propone para realizarse en 2015, una vez conocidos los resultados de la Evaluación Estratégica y la Evaluación de Procesos propuestas, de modo que considere los cambios derivados de las mismas. La duración estimada es de 4 meses.

5. Finalmente, recomienda dar continuidad a la Evaluación de Impacto 2012 mediante la realización de una Evaluación Complementaria de Resultados en 2016. El objetivo sería dar seguimiento sólo a algunos indicadores de interés de los ya evaluados en la referida Evaluación de Impacto sobre la calidad de vida y la integración social y urbana de los habitantes de los polígonos Hábitat. La evaluación propuesta permitirá calcular los cambios brutos que experimenten los polígonos en el tiempo, mediante un diseño muestral tipo panel rotativo (Véase Sección 3.4 Evaluación de Impacto). La duración estimada es de 6 meses.


44

3.4. Evaluación de Impacto

De acuerdo con la normatividad mexicana vigente,108 la evaluación de impacto identifica con metodologías rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecución de un programa federal.

Las evaluaciones de impacto tienen como propósito determinar si un programa produjo los efectos deseados en las personas, hogares o instituciones a los cuales éste se aplica; obtener una estimación de estos beneficios y evaluar si ellos son o no atribuibles a la intervención del programa.109

Un elemento importante en la evaluación de impacto110 es la construcción por medio de métodos estadísticos de un escenario contrafactual para el programa, es decir, construir una situación hipotética en la cual hubiesen estado los beneficiarios en caso de que el programa no se hubiese implementado. Mediante la comparación de la realidad con esta situación contrafactual, se intenta aislar la influencia de estos factores externos agregados que inciden en los resultados. A partir de esta construcción es factible evaluar si efectivamente existen relaciones de causa-efecto entre el programa y los resultados, procediendo a una cuantificación de los beneficios.

Para el caso de Hábitat, se han llevado a cabo dos evaluaciones de impacto, una en 2007 y otra en la actualidad (2012).

Mathematica Policy Research fue la encargada de aplicar, en 2007, una metodología cuantitativa enmarcada dentro de los diseños cuasi experimentales: el aparejamiento por propensión;111 el método hace uso de la información del Censo de Población y Vivienda 2000 y del Conteo de Población y Vivienda 2005, ambos del Inegi.

Las variables sobre las que se midió el impacto del programa fueron: 1) cambio en el porcentaje de hogares sin agua en la vivienda del 2000 al 2005; 2) cambio en el porcentaje de hogares sin agua en el terreno del 2000 al 2005; 3) cambio porcentual en el acceso a drenaje; y, 4) cambio en el porcentaje de hogares sin luz eléctrica del 2000 al 2005.

El grupo de polígonos en los que se implementaron acciones de infraestructura básica se comparó con dos contrafactuales:

Polígonos que no implementaron ningún proyecto de Hábitat ni en 2003 ni 2004.

Polígonos que implementaron algún proyecto Hábitat en 2003 o 2004 pero ninguno

de agua potable, alcantarillado o electrificación.

108

Secretaría de la Función Pública, “Lineamientos generales para la evaluación de los programas de la administración pública federal”,Diario Oficial de la Federación (DOF), 30 de marzo de 2007, Primera Sección, numeral decimosexto, fracción 1, inciso d. 109

Cepal, Evaluación de impacto, Chile, ONU-CEPAL, 2005, 7 P. 110

Basado en la metodología de Evaluación de impacto de la Cepal. 111

Campuzano, Larissa, Evaluación del Programa Hábitat en Infraestructura Básica, Mathematica Policy Research, 2007.


45

Los resultados arrojan evidencia sobre que:

“Los polígonos que implementaron programas de alcantarillado con apoyo de Hábitat redujeron el porcentaje de viviendas sin conexión a drenaje aproximadamente tres puntos porcentuales más que los polígonos similares pero que no tuvieron ningún apoyo de Hábitat. En acceso a agua en la vivienda, no detectamos efectos estadísticamente significativos ni favorables ni desfavorables. En acceso a agua entubada en el terreno, detectamos impactos estadísticamente significativos y favorables sólo con una de las especificaciones, por lo tanto no consideramos que estos impactos sean robustos. En acceso a electricidad, detectamos impactos estadísticamente significativos y desfavorables con solamente una de las especificaciones, por lo tanto no consideramos que estos impactos sean robustos”

Con la metodología aplicada, sólo se encontró evidencia de impacto positivo en el indicador de drenaje, en tanto que en el acceso a agua en la vivienda se determinó que no existe impacto del programa. Para los dos restantes indicadores, no fue posible la obtención de resultados robustos, por lo que queda la duda de cuál es la incidencia de Hábitat con ellos.

Para superar las limitaciones de los métodos cuasi experimentales, en 2009 Hábitat diseño y realizó el levantamiento de la línea basal de una evaluación de impacto con diseño experimental. El levantamiento de seguimiento estaba programado para el año 2011, sin embargo, la información recaba antes de iniciarlo permitió detectar que no era recomendable hacerlo dada la cobertura que el programa había realizado en los polígonos pertenecientes al grupo de intervención, por lo que se pospuso para 2012.

El objetivo de esta segunda evaluación es “determinar el impacto atribuible a sus intervenciones sobre la calidad de vida y la integración social y urbana de los habitantes de zonas urbano marginadas con alta concentración de pobreza (Polígonos Hábitat)”.112 En paralelo se implementan cuatro metodologías distintas en el estudio:

a) Encuesta de seguimiento: se levantará en 370 polígonos (176 de tratamiento y 194 de control). Su objetivo es obtener información para el cálculo de los indicadores diseñados para la medición de impacto de Hábitat. Ésta se subdivide en tres instrumentos de recolección de información:

a. Hogares: b. Inspección urbanística de polígono c. Inspección urbanística de manzana

b) Estudio cualitativo, cuyos objetivos particulares son: a. Conocer y analizar la percepción de los beneficiarios del Programa Hábitat

acerca de su funcionamiento y operación en los polígonos seleccionados. b. Explorar las relaciones y los procesos implícitos en las acciones del

Programa en términos de los impactos o beneficios percibidos por los

112

Es interesante resaltar que el objetivo de la evaluación no considera determinar el impacto del programa sobre la pobreza de los hogares de los polígonos, que es uno de los objetivos declaramos por el programa, y sólo se ocupa de la calidad de vida, que es el otro de los objetivos.


46

beneficiarios directos de las obras, particularmente en lo que respecta a: la calidad de vida, en la valoración del entorno urbano y la convivencia social.

c. Documentar y analizar el cambio en nivel de capital social en los polígonos intervenidos.

c) Análisis del valor inmobiliario de los predios: busca evaluar el cambio en el valor

inmobiliario de los predios dentro de los Polígonos Hábitat como consecuencia de haber sido beneficiados con obras de servicios y equipamiento urbano básicos del programa Hábitat, utilizando modelos estadísticos.

d) Encuesta de usuarios de inmuebles para la prestación de servicios sociales: medirá los indicadores de percepción de calidad y pertinencia de los servicios ofrecidos.

Con excepción del inciso d, los resultados permitirán medir los cambios en las variables entre el año base (2009) y el año de seguimiento (2012).

Dar seguimiento en años posteriores a la segunda evaluación se vislumbra complicado, tanto porque el diseño no consideró en la determinación del tamaño de muestra de polígonos un horizonte de tiempo más amplio, como por las consideraciones éticas que conllevaría seguir relegando del programa al grupo de control; es por ello que la presente evaluación considera que, a reserva de conocer el informe final, no es recomendable seguir estimando impactos del programa con esta muestra de polígonos, aún más, ya conocido los resultados (si impacta o no el programa en las variables determinadas), no se hará absolutamente necesario una medición posterior. Sin embargo, se propone hacer uso de la muestra para iniciar una evaluación complementaria de resultados para dar seguimiento sólo a algunos indicadores de interés, bajo un diseño muestral tipo panel rotativo,113 el cual permitirá ya no calcular los cambios netos, pero si los brutos que experimenten los polígonos en el tiempo, en las mismas variables de interés que se determinaron para la evaluación de impacto.

113

Donde el nuevo panel a incluir dentro de la muestra en cada levantamiento estaría conformado por polígonos no intervenidos aún.


47

4. Monitoreo

4.1. Análisis histórico de la MIR en el periodo 2007-2012

La Matriz de Indicadores para Resultados (MIR)114 es una herramienta que permite, entre otras cosas, monitorear si efectivamente se da una solución idónea al problema que origina la acción pública. El resumen narrativo de la MIR consta de cuatro niveles de objetivos que corresponden a los distintos tramos de control del proceso; en el nivel más alto jerárquicamente, el Fin, se indica el impacto que tendrá la contribución del Programa Hábitat en el mediano o largo plazos, al logro de un objetivo del desarrollo nacional y a la consecución de objetivos del PND y sus programas (véase tabla 3).

Tabla 3. Alineación del programa a objetivos del PND y sus programas

Eje de política

pública3 - Igualdad de Oportunidades

Objetivo

Reducir significativamente el número de mexicanos en condiciones de pobreza con políticas públicas que

superen un enfoque asistencialista, de modo que las personas puedan adquirir capacidades y generar

oportunidades de trabajo.

Programa Programa Sectorial de Desarrollo Social 2007-2012

Objetivo

Mejorar la calidad de vida en las ciudades, con énfasis en los grupos sociales en condición de pobreza, a

través de la provisión de infraestructura social y vivienda digna, así como consolidar ciudades eficientes,

seguras y competitivas.

Dependencia

o entidadSecretaría de Desarrollo Social

Objetivo

Contribuir al desarrollo humano sustentable a través del desarrollo de capacidades básicas de educación,

salud, nutrición, alimentación y vivienda que permitan una mayor igualdad de oportunidades, en especial

para la población en condiciones de pobreza.

Fuente: MIR del Programa Hábitat.

Plan Nacional de Desarrollo (PND) 2007-2012

Programa Derivado del PND 2007-2012

Objetivo estratégico de la Dependencia o Entidad

La alineación del programa es coherente, sin embargo la incorporación de la MML en la administración federal a partir de 2007 ha tenido una curva de aprendizaje prolongada en programas que, como Hábitat, nacieron con la intención de abordar “de forma integral” problemáticas geográficamente concentradas o que atañen a una población específica. A lo largo del presente recuento histórico se muestra cómo Hábitat arrastra este conflicto en la definición de sus objetivos, pese a haber dado de 2007 a 2009 pasos en la mejora de la MIR (desde 2009 los cambios han sido menores).

114

Guía para el diseño de indicadores estratégicos, México, pág. 11.


48

4.1.1. Cambios en el Nivel Fin

Los cambios ocurridos en los resúmenes narrativos de los niveles Fin y Propósito en el periodo de estudio se muestran en la tabla 4. En la evaluación interna de la matriz realizada por el Coneval en 2007 (RI-07) se señaló como problema que el Fin del programa era poco concreto y se sugería especificar qué aspectos de la pobreza se pretendía combatir. Sin embargo, para 2008, el Fin se mantuvo sin cambios y no mereció observación alguna en la EED-08, ni la RI-08, mientras que en la ECR- 07 (donde se evaluó, entre otros elementos del Programa, a la MIR-08) se consideró adecuadamente definido el resumen narrativo por corresponder a la una igualmente adecuada identificación de la pobreza urbana como el problema a atender,115 sin embargo se juzgó que el diseño del Programa no contribuía “a la superación de la pobreza patrimonial, pues no contempla acciones dirigidas a mejorar los ingresos de los hogares” (pág. 12). En 2009 el Fin fue reformulado y se mantuvo prácticamente sin cambios hasta 2012: “Contribuir a la superación de la pobreza y al mejoramiento de la calidad de vida de los habitantes de las zonas urbano-marginadas, fortaleciendo y mejorando la organización y participación social, así como el entorno urbano de dichos asentamientos”. La inclusión del concepto de “calidad de vida” fue objetada en la RI-09 por parecer un objetivo adicional al de combate a la pobreza, recomendando explícitamente “establecer solamente uno”. Adicionalmente, se señaló que ambos eran “objetivos muy altos”. En la EED-09-10 y la EED-10-11 no se hicieron observaciones sobre el resumen narrativo. El D-10 no concluyó en una MIR específica, pero estableció un árbol de problemas que en principio debería ser acorde a la definición de objetivos en los niveles Fin, Propósito y Componentes. La definición del problema mayor identificado en el árbol de problemas: “Disminución de la calidad de vida en las zonas urbano-marginadas y transmisión intergeneracional de la pobreza”, correspondería ex post con la inclusión de “calidad de vida” y “pobreza” en la definición del Fin. La ECR-11-12 no hace mención explícita al resumen narrativo del Fin, pero advierte que a falta de evidencia empírica que lo sustente: el Programa no podría demostrar que es una “intervención integral de combate a la pobreza al no incorporar políticas de educación y salud que forman capital humano, de fomento del empleo y de generación de ingresos, que son responsabilidad de otras dependencias”, con lo que se cuestiona la inclusión del concepto de “pobreza” en el nivel de Fin hasta la elaboración de estudios de impacto que demuestren la contribución específica que tiene Hábitat en su combate.

115

ECR-07, págs. 5, 3, 259 y 261.


49

Tabla 4. Cambios en el resumen narrativo de los niveles Fin y Propósito de la MIR Hábitat, 2007-2012 Nivel 2007 2008 2009 2010 2011 2012

FIN Contribuir de manera integral a la

superación de la pobreza urbana.(Sin cambios)

Contribuir a la superación de

la pobreza y al mejoramiento

de la calidad de vida de los

habitantes de las zonas

urbano-marginadas,

fortaleciendo y mejorando la

organización y participación

social, así como el entorno

urbano de dichos

asentamientos.

(Sin cambios)

Contribuir a la superación de

la pobreza y al mejoramiento

de la calidad de vida de los

habitantes de las zonas

urbano-marginadas, al

fortalecer y mejorar la



urbano de dichos

asentamientos.

(Sin cambios)

PR

OP

ÓS

ITO

Contribuir a la integración social y

urbana de los habitantes de las

zonas urbano-marginadas de alta

concentración de pobreza,

mediante el desarrollo comunitario,

el desarrollo de las capacidades

personales, la atención de grupos

vulnerables, la prevención de

conductas de riesgo, el acceso y

mejoramiento de infraestructura,

equipamiento y servicios urbanos

básicos, el mejoramiento del medio

ambiente, la prevención y

mitigación de riesgos, y el

fortalecimiento de las capacidades

de los gobiernos locales para la

planeación, administración y

gestión de las ciudades en materia

de desarrollo social y urbano.

La integración a la ciudad en

materia social y urbana, así como

las capacidades individuales de los

habitantes de los Polígonos

Hábitat, han mejorado.

Condiciones físicas y

comunitarias de las zonas

urbano-marginadas para el

desarrollo de sus habitantes y

la integración de éstos a la

dinámica de las ciudades,

mejoradas.

(Sin cambios)

Condiciones físicas y sociales

de las zonas urbano-

marginadas para el desarrollo

de sus habitantes, mejoradas.

(Sin cambios)

Nota: El texto en color verde fue añadido, en rojo fue omitido y en naranja fue modificado.

Fuente: Elaboración propia con base en las MIR del Programa Hábitat, 2007-2012.


50

En la MTRI-11, el Coneval consideró que “el programa no está focalizado en la población en situación de pobreza”, le parecía difícil construir indicadores adecuados para un término tan general como “calidad de vida” y recomendó que “el programa precise de mejor manera lo que pretende lograr”. Sin embargo, este señalamiento se contradice poco después, pues, como se detalla más adelante, en el único indicador del nivel de Fin considerado relevante, la valoración positiva se basó justamente en que sería eficaz para medir la “calidad de vida”, lo que implica que ésta tiene una definición suficientemente clara para poder estimar su magnitud.

4.1.2. Cambios en el Nivel Propósito El resumen narrativo del Propósito 2007 establecía una gran cantidad de objetivos (la mayor parte de los cuales atendían a los Componentes del Programa), contraviniendo el principio rector de la MML: un objetivo, un programa. Adicionalmente, como expresa la RI-07, la redacción fallaba al expresar sus intenciones mediante el verbo “contribuir” (adecuado para el Fin) y no mediante una afirmación del resultado concreto, del problema que se resolvería, con el programa. Finalmente, se señaló que la población objetivo no emanaba con claridad de la definición del Propósito. Para 2008, el resumen narrativo disminuyó en extensión al aglutinar las acciones desglosadas en 2007 en el objetivo de mejorar “la integración a la ciudad en materia social y urbana, así como las capacidades individuales”, además de acotar el campo de acción del Programa a “los habitantes de los polígonos hábitat”. El nuevo resumen narrativo recibió la observación en la RI-08 de que la “integración a la ciudad” no “indica claramente la forma en que el programa impacta en la población”; en esta revisión el Coneval sugirió “incorporar la definición de Polígono Hábitat” dentro del resumen narrativo. En la ECR-07, el análisis la MIR-08 señaló que el propósito no estaba claramente definido, pues la “integración en materia social y urbana” podría considerarse un objetivo diferente al de mejorar “las capacidades individuales” 116 . Al respecto, el evaluador recomendó reconocer que Hábitat es un programa “complejo” que presenta tres modalidades117, cada una de las cuales puede considerarse un subsistema marco lógico que requiere definir un Propósito particular y su propia MIR.118,119 Las tres modalidades identificadas que atiende el Programa y que contribuirían al mismo Fin fueron: “el desarrollo social y comunitario, el mejoramiento del entorno urbano y la promoción del desarrollo urbano”. Debe destacarse que esta consideración en la ECR-07 es única en el abanico de evaluaciones y revisiones del Programa y constituye un punto central a discutir respecto a la forma de aplicar la MML y los mecanismos de evaluación en éste y otros programas diseñados para atender de forma “integral” una problemática territorialmente definida o las problemáticas (en plural) que sufre un tipo específico de población. Con respecto a la población potencial y objetivo, en la ECR-07 se consideró que si bien ambas estaban formalmente definidas en función del número de hogares en pobreza patrimonial en el país y en los Polígonos Hábitat, respectivamente, diversos campos de acción del programa escapaban de esta definición (como la vertiente de centros históricos y las acciones que el evaluador identificó como de “desarrollo urbano”).

116

ECR-07 pág. 5. 117

IbÍdem, págs. 1, 5 y 6. 118

Op.cit., pág. 24. 119

Una propuesta de Matrices articuladas para estas modalidades fue presentada por el evaluador en el Anexo VI, págs. 233-236.


51

Para 2009 el resumen narrativo del Propósito cambió al supeditar el objetivo de “integración a la ciudad” a resultados más concretos a alcanzar: mejorar las “condiciones físicas y comunitarias de las zonas urbano marginadas”. Con ello respondió parcialmente a las observaciones de los años anteriores, pero la nueva redacción no dejaba de poseer ambigüedad en el concepto de “condiciones comunitarias” y eliminó la noción de Polígonos Hábitat. Al respecto, en la RI-10 se señaló que se requería definir explícitamente a la población objetivo y el “impacto directo” sobre la misma que se esperaba lograr con el Programa120. En el árbol de problemas de la DI-10 se definió como problema central a resolver por el Programa a las “Zonas urbanas marginadas con alta concentración de pobreza que presentan condiciones físicas y sociales desfavorables para el desarrollo de sus habitantes”, cuya traducción en objetivo delineó la modificación del Propósito en la MIR-11, desapareciendo la noción de “integración a la ciudad” y sustituyendo las “condiciones comunitarias” por “condiciones sociales. El nuevo resumen narrativo tuvo entonces una justificación formal y un diseño lógico que fue reconocido en la ECR-11. En este último documento el único problema detectado asociado al objetivo del nivel Propósito fue su traducción en la definición de población potencial y objetivo, porque: 1) se utilizaba hogares como unidad de medida y ello contravendría el enfoque territorial del programa y 2) se incluía la cuantificación de hogares pobres, cuando muchas líneas de acción del programa no se dirigen a los mismos, sino a todos los hogares inscritos en los Polígonos Hábitat. El documento sugiere que la “unidad de medida más congruente sería la de área urbana, por lo que la población potencial serían las ZAP (Zonas de Atención Prioritaria) urbanas, que son las que presentan el problema o necesidad, y la población objetivo serían los Polígonos Hábitat que son las áreas urbanas elegibles para la intervención”. La opinión del evaluador fue objetada por la UPAPU en la PI-11, donde manifestó que dado que los “Polígonos Hábitat se identifican con una metodología que valora los niveles de pobreza, las carencias en infraestructura básica y la marginación”, considera “correcto que su población potencial y su población objetivo se definan a partir de los habitantes de los polígonos Hábitat”.121 Por su parte, en la MTRI-11 el Coneval señaló que al nuevo resumen narrativo aún le faltaba claridad para expresar los resultados esperados, pues si bien las “condiciones físicas mejoradas” sí señalan un resultado “claro e inequívoco”, ello no ocurre con las “condiciones sociales mejoradas”. Sobre la población potencial y objetivo emanadas del propósito, el Coneval considera que su unidad de medida “deberían ser las personas o los hogares, pero no las zonas urbano-marginadas”, lo que contrasta con las sugerencias de la ECR-11. Las tres EED disponibles no señalan ninguna observación sobre el resumen narrativo del Propósito y consideraron correctamente definidas a las poblaciones potencial y objetivo que de él derivan. Lo anterior es notable porque, como se registra en el cuadro comparativo de definiciones (Sección 3.1.3), la definición de ambas poblaciones ha sufrido cambios importantes cada año y porque este tema fue abordado centralmente en algunas revisiones internas del Coneval y en las dos ECR.

120

RI-10, pág. 1. 121

Nótese que la UPAU se decanta por la unidad “habitantes” y no “hogares” que es la incluida en sus indicadores, lo que en realidad es adecuado ya que la cantidad de hogares puede considerarse un estimador de la población necesario porque sólo en esta unidad, hogares, es verificable un importante conjunto de los productos y servicios entregados por el programa.


52

4.1.3. Cambios en el Nivel Componentes

Los resúmenes narrativos de los Componentes fueron los que más cambios tuvieron en el periodo de estudio (tabla 5), lo que se refleja en las reagrupaciones de objetivos ocurridas en 2008 y en 2009.122 La RI-07 no realizó recomendaciones específicas en este rubro por considerar que los Componentes podrían cambiar sustancialmente en función de las decisiones que tomara el Programa sobre las observaciones de nivel Fin y Propósito, de modo que el Coneval se limitó a señalar una falta de claridad genérica que no permitía distinguir cuáles eran los productos entregados por el programa, además de que en ocasiones el resumen narrativo no correspondía con un producto o bien entregable, como en el caso de la “convergencia de programas sociales”. En la MIR-08 el Programa reorganizó los Componentes, en general mejorando formalmente el resumen narrativo con la inclusión constante de verbos en participio pasado para explicar el producto entregado. Pero también añadió nuevos Componentes que no reflejaban productos entregados, sino actividades (por ejemplo, “Subsidios asignados y ejercidos”) o bien aspectos de diseño (el caso de “Universo de atención identificado”). En la ECR-07 que, recuérdese, valoró la MIR-08, no se realizaron observaciones específicas a los resúmenes narrativos de los Componentes, sino una valoración más general en la que se señaló que los Componentes registrados no correspondían con el Propósito, sino con las tres modalidades identificadas por el evaluador. En dirección de su propuesta de articular tres matrices (una por modalidad), el evaluador consideró que los Componentes de la MIR-08 podrían haberse reordenado mediante una jerarquización de sus relaciones de necesidad; en sus propias palabras:

“El vínculo entre Componentes se produce por la necesidad de unos respecto a otros para lograr su objetivo y cumplir sus supuestos. El DSC y el MEU necesitan de PDU; el DSC necesita de MEU; cada uno ofrece las bases para el despliegue del otro”123.

En la RI-08, el Coneval hace nuevamente una valoración genérica, señalando que los 12 Componentes incluidos no permiten una adecuada valoración, pues “hacen que el programa posea un diseño muy complejo”. Sugirió entonces disminuir el número de Componentes mediante una reagrupación de los mismos, situación que fue atendida en la MIR-09, eliminando los tres Componentes enteramente nuevos de 2008 y reagrupando los nueve restantes en sólo tres.

122

La reagrupación en la tabla fue realizada con base en los indicadores que acompañaban cada resumen narrativo. Por este motivo en ocasiones pueden parecer poco relacionados los resúmenes narrativos en el mismo nivel de la tabla; por ejemplo, el componente de “Provisión y mejoramiento del equipamiento y mobiliario urbano financiados en corresponsabilidad con el municipio” de 2007 fue agrupado con el de “Centros Históricos inscritos en la lista de Patrimonio Mundial de la UNESCO (Centros Históricos) apoyados” de 2008 a causa de que comparten sus principales indicadores. 123

ECR-07, pág. 11.


53

Tabla 5. Cambios en el resumen narrativo de los Componentes en la MIR Hábitat, 2007-2012 Nivel 2007 2008 2009 2010 2011 2012

Construcción o mejoramiento

de inmuebles destinados a la

prestación de servicios

comunitarios: centros de

desarrollo comunitario, casas

de oficios, escuelas taller,

centros de atención infantil y

refugios y centros

especializados para la atención

de víctimas de la violencia,

apoyados.

Inmuebles para la prestación de

servicios comunitarios,

construidos o mejorados.

Provisión y mejoramiento de

infraestructura básica,

financiada.

Infraestructura urbana básica

provista o mejorada.

Equipamiento y mobiliario

urbano provistos o mejorados.

Entorno urbano preservado y

saneado.

Riesgos de origen natural

prevenidos y mitigados.

Proyectos de difusión,

capacitación y provisión de

servicios comunitarios,

apoyados.

(Desaparece) (Sin cambios) (Sin cambios) (Sin cambios) (Sin cambios)

Provisión y mejoramiento del

equipamiento y mobiliario

urbano, financiados en

corresponsabilidad con el

Municipio.

Centros Históricos inscritos en

la lista de Patrimonio Mundial de

la UNESCO (Centros

Históricos) apoyados.

Centros Históricos inscritos

en la lista del Patrimonio

Mundial de la UNESCO,

conservados.

(Sin cambios) (Sin cambios) (Sin cambios)



CO

MP

ON

ENTE

S


Ejecución de proyectos para el

mejoramiento del medio

ambiente, la prevención y

mitigación de riesgos de origen

natural, financiados en


Municipio.

Infraestructura,

equipamiento y cuidado del

entorno urbano, mejorados.


54

Tabla 5. Cambios en el resumen narrativo de los Componentes en la MIR Hábitat, 2007-2012 (continuación) Nivel 2007 2008 2009 2010 2011 2012

Proyectos de asistencia técnica

a los gobiernos municipales,

financiado en


Municipio.

Capacidades para la

planeación y gestión del

desarrollo social y urbano

de los gobiernos locales,

fortalecidas.


Instalación y equipamiento de

Agencias de Desarrollo Hábitat

(ADH) y Observatorios Urbanos

Locales (OUL) financiados.

(Desaparece) (Sin cambios) (Sin cambios) (Sin cambios)

Aprovechamiento de suelo

formal, apto y con servicios

financiado en


Municipio (nota: Esta acción ya

no es viable en el Programa

debido a que está en

reformulación).

Oferta de suelo para el

asentamiento de hogares en

situación de pobreza mejorada.


Convergencia de programas

sociales para disminuir

restricciones a la integración

social.

Acceso de los hogares

residentes en Polígonos Hábitat

a programas sociales federales

mejorado.


Obras y acciones

aprobadas,supervisadas y

concluidas.


Subsidios asignados y

ejercidos.(Desaparece) (Sin cambios) (Sin cambios) (Sin cambios)

Universo de atención

identificado.(Desaparece) (Sin cambios) (Sin cambios) (Sin cambios)

Organización, participación

social y capacidades

individuales y comunitarias

de los habitantes de los

Polígonos Hábitat,

fortalecidas.


CO

MP

ON

ENTE

S



Instancias locales de

planeación, administración y

gestión urbana fortalecidas.


55

La EED-08 no realiza observaciones sobre los resúmenes narrativos del nivel de Componentes, pero reiteradamente apuntó la insuficiencia de participación de los beneficiarios y la falta de acciones en materia de género. 124 La MIR-09 atiende este problema incorporando un Componente enteramente nuevo, “Organización, participación social y capacidades individuales y comunitarias de los habitantes de los Polígonos Hábitat, fortalecidas”, el cual se acompaña de cinco indicadores. La EED-09-10 juzga positivamente la inclusión de indicadores de equidad de género y atención a la violencia, con lo que indirectamente da también una valoración positiva a la inclusión del nuevo Componente. Sobre el Componente de Centros históricos, que aglutina el conjunto de acciones de la vertiente del mismo nombre dentro del Programa, en la EED-09-10 se señala que “no permite discriminar con nitidez en qué medida los recursos contribuyen efectivamente a reducir la pobreza en esos centros”, con lo que se estaría faltando al Propósito y el Fin del programa. La EED-10-11 comparte una valoración positiva indirecta sobre el nuevo Componente al señalar que el Programa ha “continuado promoviendo la participación y la organización comunitarias, que son elementos de apoyo en la creación de capital social y con ello podrían contribuir a reconstruir el tejido social, que es una de las metas estratégicas del programa”. A diferencia de la anterior EED, no existe observación sobre la vertiente de centros históricos. Los nuevos resúmenes narrativos no merecieron observaciones en la RI-09, si bien se advirtió que los indicadores que los acompañan son muy numerosos y que no son todos relevantes. La MTRI-11 se restringe al nivel Fin y Propósito, por lo que tampoco registra observaciones para los Componentes. En la ECR-11, por el contrario, se advierte que la redacción en dos de los Componentes es inadecuada porque se refiere a los resultados de los productos entregados y no a los productos mismos. El evaluador sugirió reformular los objetivos de estos dos Componentes de la siguiente manera:

“Organización, participación social y capacidades individuales y comunitarias de los habitantes de los Polígonos Hábitat, fortalecidas” se podría cambiar a “Cursos, talleres y eventos realizados en los CDS”; el Componente “Infraestructura, equipamiento y cuidado del entorno urbano, mejorados” se podría reformular como “Obras de infraestructura, equipamiento y cuidado del entorno urbano entregadas”125.

Sobre el Componente “Capacidades para la planeación y gestión del desarrollo social y urbano de los gobiernos locales, fortalecidas”, el evaluador señaló que se trata más de actividades que de productos entregados, sin embargo esto puede cuestionarse a la luz

124

La observación del evaluador sobre la inclusión de la problemática de género puede considerarse que es más relevante para el diseño que para el desempeño del programa. Aún con esa inconsistencia, se trata de la primera gran observación al respecto en el periodo de estudio e inaugura la inclusión de una temática que no ha perdido centralidad para Hábitat, lo que es notorio en el D-10. 125

ECR-11, págs. 2 y 3.


56

de que los tres indicadores que lo componen sí indican productos específicos entregados por Hábitat.126 La ECR-11 comparte con la EED-09-10 la crítica sobre la coherencia de la vertiente de centros históricos dentro del Programa (lo que implica también una crítica a la pertinencia del Componente respectivo), pues “no se dirige a la población objetivo ni contribuye al logro de su Propósito… por lo que se recomienda que la Sedesol solicite a la Cámara de Diputados que asigne su ejecución a otra dependencia con mayor pertinencia, como la Sectur o Conaculta”. En esa ocasión Sedesol respondió en la PI-11 que la vertiente está plenamente justificada, ya que “además de ser un mandato de la Cámara de Diputados por medio del Decreto de Presupuesto de Egresos de la Federación, tiene como propósito beneficiar a los habitantes de dichas ciudades entre los que se encuentra la población objetivo de Hábitat, y que hace eficiente el gasto público al evitar la creación de estructuras administrativas paralelas para la ejecución de subsidios bajo los mismos esquemas operativos”.

4.2. Valoración del Resumen Narrativo de los niveles de Propósito y Fin de la MIR

En esta sección se efectúa la valoración, en términos de la pertinencia y congruencia, del Resumen Narrativo de los niveles de Fin, Propósito y Componentes de la versión vigente de la MIR del Programa Hábitat; para ello, se utiliza como referencia la “Guía para el diseño de indicadores estratégicos” elaborado por la Secretaría de Hacienda y Crédito Público (SHCP) y el Coneval. Para facilitar al lector la comprensión del análisis, se presenta la tabla 6, que incluye la sintaxis esperada, la valoración del equipo meta evaluador y los tres niveles desglosados de la MIR. Respecto al nivel Fin, como se indica en la tabla 6, el presente documento comparte el criterio expresado en la RI-09 sobre la inoperancia de mantener la “pobreza” y la “calidad de vida” dentro del resumen narrativo por parecer dos objetivos diferentes. Adicionalmente, debe señalarse que el objetivo de combate a la pobreza recibió en el periodo analizado cuestionamientos que incluyeron: la falta de claridad de qué aspectos concretos de la pobreza se abordan en el programa (RI-07), la falta de evidencia del papel del programa en la consecución de este objetivo (ECR-11), o la falta de relación entre el diseño del Programa y el concepto de pobreza (ECR-07, y MTRI-11). Parte de este problema tiene que ver con que el concepto de pobreza está íntimamente vinculado a los ingresos monetarios, cuestión alejada de los impactos directos del Programa127. Por lo anterior puede presumirse que la inclusión de la “pobreza” en el

126

Se trata de: 1) “Porcentaje de Observatorios Urbanos Locales (OUL) apoyados para su instalación o fortalecimiento, respecto del año anterior”, 2) “Porcentaje de proyectos apoyados para la elaboración o actualización de planes, programas y estudios para el desarrollo urbano y de ordenamiento territorial y la superación de la pobreza urbana, respecto del año anterior”, y 3) “Porcentaje de Agencias de Desarrollo Urbano (ADU) apoyadas para su instalación o fortalecimiento, respecto del año anterior”. 127

Aún en la nueva metodología para la medición multidimensional de la pobreza, el programa sólo atendería directamente a algunas variables de carencia social, y ésta es sólo una de las dimensiones reconocidas de la pobreza. Podría argumentarse que las acciones relativas a la organización y participación social atienden a la cohesión social, dimensión reconocida también en la medición de la pobreza, pero debe recordarse que la estrategia reconocida por el Coneval (2010) para abordar esta variable, atiende principalmente a la desigualdad social, y que las “redes sociales”, el único concepto similar al de “organización social”, es calculable sólo a nivel estatal.


57

resumen narrativo del Fin seguirá generando objeciones en futuras evaluaciones. Sin embargo, la sugerencia expresada en la RI-09, de eliminar “pobreza” a favor de la “calidad de vida”, ofrece un avance menor, en tanto que históricamente ambas categorías han tenido una evolución similar: se construyeron atendiendo fundamentalmente a los ingresos y fueron complejizándose para incluir otros benefactores como la disponibilidad de servicios y el “capital social”. Así, es deseable que el Programa opte por un solo concepto y que se especifique los alcances que tiene para el Programa en un documento anexo.

Tabla 6. Análisis de sintaxis y valoración del resumen narrativo de la MIR del Programa Hábitat, 2012

Mediante /

a través deEl cómo: la solución del problema Valoración

Fin mediante

fortalecer y mejorar la



urbano de dichos

asentamientos.

Inadecuado porque se establecen dos

objetivos (superación de la pobreza y

mejopramiento de la calidad de vida).

Verbo en presente Complemento: resultado logrado Valoración

Pro

pó

sit

o

mejoradaspara el desarrollo de sus

habitantes.

Inadecuado porque no se identifica con

presición a la población atendida*.

Verbo en

participio pasado

fortalecidas.

mejorados.

fortalecidas.

conservados.

Fuente: Elaboración propia con base en la MIR del Programa Hábitat.

* Este problema es reconocido por el Programa, que declaró que se modificará el resumen narrativo en la MIR de 2013.

Valoración

Inadecuado porque la redacción no refleja productos entregados sino los

resultados esperados de los mismos (puede cambiarse la redacción).







Organización, participación social y

capacidades individuales y comunitarias de los

habitantes de los Polígonos Hábitat

Capacidades para la planeación y gestión del

desarrollo social y urbano de los gobiernos

locales

Infraestructura, equipamiento y cuidado del

entorno urbano

Centros Históricos inscritos en la lista del

Patrimonio Mundial de la UNESCO

Co

mp

on

en

tes

El qué: contribuir a un

objetivo superior

Contribuir a la superación de la pobreza y al

mejoramiento de la calidad de vida de los

habitantes de las zonas urbano-marginadas

Sujeto: Población o área de enfoque

Condiciones físicas y sociales de las zonas

urbano-marginadas

Productos terminados o servicios proporciondos

El resumen narrativo del Propósito es inadecuado por las siguientes razones: 1) no queda claro si la población o área de enfoque del Programa son los habitantes de las zonas marginadas o las zonas marginadas mismas; 2) derivado de lo anterior, es confuso también si el resultado esperado son las posibilidades de desarrollo de los habitantes o la mejora en las condiciones físicas y sociales, lo que dificulta el diseño de indicadores para el nivel, y 3) un problema menor constituye el que el verbo no se encuentra en presente.


58

Sobre la medición de la población potencial y objetivo debe anotarse que frente a la multiplicidad de acciones contempladas dentro de Hábitat, las evaluaciones y revisiones examinadas en el presente estudio han sugerido lo mismo a los Polígonos Hábitat que a las ZAP o a los hogares como las unidades óptimas de cobertura. Al respecto, la presente Meta Evaluación, si bien coincide con el Programa en que la mejor medida son los habitantes de los Polígonos Hábitat, señala que las líneas de acción atendidas por Hábitat no permiten determinar una única unidad apropiada, sino que se requieren como mínimo dos: los hogares para las acciones de infraestructura en las que sea posible cuantificar la carencia atendida y la población directamente beneficiada (como agua, luz y drenaje), y Polígonos Hábitat para todos los rubros en los que se otorga un bien difuso para la población, tales como la construcción centros comunitarios o el fortalecimiento de las capacidades locales de gestión. La necesidad de definir dos poblaciones objetivo para Hábitat es sólo una muestra de cómo el actual uso de la MML en los sistemas de evaluación de la administración federal tiene limitaciones para abordar este tipo de Programas de atención integral en una problemática dada. El tema amerita reformular la discusión sobre la aplicación de la MML y al respecto, destaca la propuesta de la ECR-07 de reconocer que dentro de un programa es posible distinguir subsistemas de marco lógico definidos por Propósitos particulares, pero articulados, porque contribuyen al mismo Fin y tienen Componentes vinculados. Sobre los resúmenes narrativos de los Componentes, la presente Meta Evaluación comparte la observación realizada en la ECR-11 sobre la necesidad de modificar la redacción para clarificar los productos y servicios entregados, lo que sería válido para los cuatro Componentes de la MIR. Se comparte también la valoración de la EED-09-10 y de la ECR-11 sobre la falta de coherencia de la vertiente de centros históricos en el Programa, que se evidencia en la MIR en el aparentemente nulo papel que el Componente respectivo tiene para la consecución del Propósito. La posición institucional sobre la ineficiencia de generar estructuras paralelas para la atención de esta vertiente, plantea una discusión legítima sobre la utilidad de la MIR como instrumento exclusivo de evaluación, pero, por lo mismo, reconoce implícitamente que la conservación de centros históricos es un campo de trabajo no alineado a los objetivos explícitos del programa en el sistema de la MML.

4.3. Valoración de los indicadores de los niveles de Propósito y Fin de la MIR

4.3.1. Cambios en los indicadores de Propósito y Fin de 2007 a 2012

En la tabla 7.1 se enlistan los indicadores que han aparecido en la MIR del programa en el nivel de Fin durante el periodo de 2007 a 2012. Tanto su redacción como la valoración emitida se refieren a la última versión del indicador. Con excepción de la MTRI-11, las evaluaciones anteriores no validaron los indicadores utilizando sistemáticamente los criterios contenidos en la Guía para el diseño de indicadores estratégicos de la SHCP y el Coneval; sin embargo, y con sólo algunas excepciones que se indican en el texto, la presente valoración es coherente con los juicios emitidos en las evaluaciones previas sobre indicadores específicos.

En el periodo de estudio se han utilizado siete indicadores distintos para dar cuenta del Fin del programa, sin que se registren cambios a partir de 2010. De los indicadores de 2007 sólo se mantiene F1, el cual recibió como objeciones en la RI-07 tener poca relación


59

con el nivel de objetivo y tratarse, junto con los dos restantes en la MIR de ese año, de indicadores de cobertura que “no permiten medir el impacto que el programa pueda tener para superar la pobreza urbana”. Esta valoración contrasta con la otorgada en la ECR-11 y en la MTRI-11,128 pues ambas lo consideraron adecuado aunque insuficiente para dar cuenta del objetivo de mejorar la calidad de vida. La presente Meta Evaluación concuerda con este último juicio y considera que la valoración del RI-07 fallaba al caracterizar como d cobertura al índice de F1, cuando esta categoría, de cobertura, en términos de indicadores se refiere exclusivamente a la proporción de población atendida respecto a la potencialmente atendible.

Tabla 7.1. Variación en los indicadores del nivel Fin de la MIR del Programa Hábitat,

2007-2012

2007 2008 2009 2010 2011 2012 C R E M A

F1

Índice de disponibilidad de

servicios básicos (agua,

drenaje y electricidad) en los

Polígonos Hábitat identificados.

Inicia Modificado Continúa Continúa Continúa Continúa √ √ √ √ √

F2

Porcentaje de hogares en

Polígonos Hábitat beneficiados

con acciones de desarrollo

social y comunitario.

Inicia Omitido X X X X X

F3Porcentaje de Polígonos

Hábitat atendidos.Inicia Omitido √ X √ √ √

F4Variación en el porcentaje de

pobreza urbana.Inicia Omitido X √ X X X

F5Índice absoluto de marginación

en los Polígonos Hábitat

atendidos.Inicia Omitido √ X √ √ √

F6

Disponibilidad de

infraestructura urbana

complementaria (alumbrado,

guarniciones y banquetas, y

calles pavimentadas) en los

Polígonos intervenidos.

Inicia Continúa Continúa √ √ X √ √

F7Índice de capital social en

polígonos intervenidos.Inicia Continúa Continúa ~ √ ~ ~ √

Nota: Se emplea el signo ~ cuando el indicador puede modificarse; √ cuando es adecuado y X cuando no cumple con el criterio.1 C: Claro; R: Relevante; E: Económico; M: Monitoreable y A: Adecuado.

Nivel # IndicadorMatriz de Indicadores de Resultados


Validación1

FIN

El indicador F2 resulta inoperante en todos los criterios C.R.E.M.A., pero especialmente se debe resaltar que no es claro debido a que no es evidente que la unidad “hogares” sea pertinente para medir los beneficios de las acciones de desarrollo social y comunitario, además de que estas acciones no tenían relación con el combate a la pobreza urbana que era el único objetivo perseguido en el nivel Fin en 2007. Por su parte F3 sí es un indicador exclusivamente de cobertura que pudiera estar en el nivel de Componente, pero no es relevante para medir el impacto del programa. F2 y F3 fueron trasladados al nivel de propósito en la MIR-08 y sustituidos en el nivel Fin por F4, el cual podía dar cuenta precisa sobre el impacto en la consecución del combate a la pobreza, pero no aclaraba cómo se mediría, y resultaba improbable que pudiera ser en términos económicos. Su desaparición para la MIR-09 testifica la dificultad de medir la pobreza, como se detalla en el apartado anterior.

128

La MTRI-11 tiene especial relevancia en el análisis de los indicadores vigentes de Fin y Propósito debido a que es la única revisión que utiliza los criterios de validación C.R.E.M.A.


60

La RI-09 no realizó observaciones al nombre o al método de cálculo de los indicadores, limitándose a advertir la necesidad de especificar en los medios de verificación que el nuevo indicador requería una evaluación de impacto. Por su parte la EED-08 registra como adecuados a los dos indicadores de Fin.

El la MIR-09, F4 fue sustituido por una medida relacionada con la pobreza y que contaba con reconocimiento oficial y metodología estandarizada: el “Índice absoluto de marginación” (F5) de Conapo.129 En la RI-09, el Coneval calificó a los indicadores de Fin como “muy genéricos” y poco claros en sus fórmulas; sin embargo se indica en la MIR que la metodología del índice de marginación absoluto estaba siendo revisada por Conapo y el índice de disponibilidad de servicios básicos estaba correctamente definido.

Sin que se encuentre justificación en ninguna de las evaluaciones revisadas, el programa abandonó en 2010 los indicadores que hicieran referencia directa a la pobreza. En su lugar, acompañó la reformulación del Fin de 2009 con la inclusión de dos nuevos indicadores: la “Disponibilidad de infraestructura urbana complementaria”,130 y un “Índice de capital social en polígonos intervenidos” con el que pretende medir la mejora en la organización social.131 Este último indicador fue seleccionado para su valoración en la en la EED-09-10, mereciendo la clasificación de pertinente y relevante; en la EED-10-11 no se consideró directamente ninguno de los tres indicadores de Fin, pero se valoraron como positivos diversos indicadores de Propósito directamente vinculados, con una mención especial al avance logrado en los de promoción de la participación y organización comunitaria por ser “elementos de apoyo en la creación de capital social”.

Los dos nuevos indicadores incluidos en la MIR-10, y que perduran hasta el momento, fueron valorados negativamente en la MTRI-11 en las cinco características evaluadas. Sobre la pertinencia en particular, se señala que el indicador no responde ni al combate a la pobreza ni a la mejora de calidad de vida, los únicos dos conceptos que el Coneval considera que definen el o los objetivos del Fin. La observación es destacable porque conlleva un juicio adicional sobre el resumen narrativo: es irrelevante para la definición de indicadores de impacto el que se acoten en el objetivo las estrategias utilizadas para alcanzarlo; concretamente, ubicar la participación y organización social como uno de los dos elementos sobre los que el Programa incidiría para alcanzar la superación de la pobreza y la mejora en la calidad de vida no implica que los parámetros para medir el avance en participación y organización social sean de impacto. Con todo, el Coneval acepta la posibilidad de que el indicador pueda ser apropiado para el Fin siempre y cuando se aclare su relación en un anexo a la MIR.

El indicador de disponibilidad de infraestructura urbana fue evaluado negativamente en cada criterio considerado: el Coneval reconoce que el indicador mide “aspectos que mejoran el bienestar de la población”, pero juzga inmediatamente después que “no tiene una relación directa con el objetivo establecido”. Lo anterior es abiertamente contrario a la

129

Este índice fue propuesto por Conapo como una alternativa para evitar el problema de falta de comparabilidad del índice de marginación habitual entre años diferentes; sin embargo, su uso no ha logrado generalizarse ni entre los organismos de gobierno ni en la academia, pues normalmente cuando se trata de hacer comparaciones entre años diferentes se opta por construir indicadores propios. 130

Se trata de una variación del índice de disponibilidad de infraestructura urbana, que con algunas variaciones de nombre, se incluía como indicador de propósito desde 2007. 131

La incorporación de un indicador de un concepto tan elusivo como lo es el de capital social fue inspirada por los avances en la metodología de medición mostrados por la evaluación de desempeño entonces en curso.


61

valoración otorgada al índice de disponibilidad de servicios básicos, que califica como pertinente justamente porque mide “mejora en la calidad de vida”.132

En la ECR-11 sólo consideró relevate para el Fin a F1, mientras que recomendó trasladar F2 a nivel de componentes y a F7 a nivel de Propósito (pág. 17).133 Adicionalmente se recomendó incluir “indicadores para medir la parte del Fin referente a calidad de vida, los cuales podrían construirse con variables que capten ingresos u otro atributo de situación económica; inseguridad y delincuencia, nivel de salud, y valor de la propiedad” (pág. 58), con lo que rescataba algunos indicadores que el Programa había incluido al nivel de Propósito en años anteriores, pero que desaparecieron en 2009 y 2010.

La evolución de los indicadores de Propósito en el periodo de 2007 a 2012 se expone en la tabla 7.2.

132

Romper la contradicción involucraría que “bienestar social” y “calidad de vida” sean conceptos claramente diferenciables, lo que se antoja difícil. 133

El evaluador no justifica estas recomendaciones.


62

Tabla 7.2. Variación en los indicadores del nivel Propósito de la MIR del Programa Hábitat, 2007-2012

2007 2008 2009 2010 2011 2012 C R E M A

P1

Indice de disponibilidad de

infraestructura urbana

complementaria en los

Polígonos beneficiados

(alumbrado, guarniciones y

banquetas, y calles

pavimentadas).

Inicia Modificado Modificado Omitido √ √ X √ √

P2

Índice de disminución de

riesgos y vulnerabilidad de

la población en las

ciudades.

Inicia Omitido X √ X X X

P3

Grado de satisfacción de los

beneficiarios con los

servicios proporcionados en

los inmuebles apoyados por

el Programa.

Inicia Omitido √ X X √ √

P4

Grado de satisfacción con

condiciones físicas del

entorno urbano en

polígonos intervenidos.

Inicia Continúa Modificado Modificado Continúa Continúa √ X X √ √

P5

Reducción de

desigualdades sociales y

marginación.


P6

Porcentaje de municipios

que participan en el Premio

Hábitat.

Inicia Continúa Omitido √ X √ √ √

P7

Porcentaje de aumento en la

activación del 2% para

Desarrollo Integral Municipal

del Fondo III del Ramo 33.

Inicia Continúa Omitido √ X √ √ √

P8

Valor inmobiliario promedio

de los predios en los

Polígonos Hábitat

beneficiados.

Inicia Continúa Modificado Omitido √ X X X X

P9

Tiempo promedio de

traslado de los habitantes

de los Polígonos Hábitat

beneficiados del lugar de

residencia al lugar de sus

actividades cotidianas.

Inicia Continúa Modificado Omitido √ X X X X

P10

Promedio de horas por

semana de servicios

prestados en los inmuebles

apoyados por el Programa.

Inicia Continúa Omitido √ X √ X X

P11

Promedio de servicios

recibidos por persona, por

grupos de edad y sexo, en

los inmuebles apoyados por

el Programa.

Inicia Omitido X X X X X

P12

Porcentaje de personas que

recibieron capacitación para

el trabajo en los inmuebles

apoyados por el Programa.

Inicia Omitido √ X √ √ X

P13Porcentaje de Polígonos

Hábitat atendidos.Inicia Continúa Omitido √ √ √ √ √

P14

Porcentaje de hogares

pobres beneficiados en los

Polígonos Hábitat

atendidos.

Inicia Continúa Omitido X √ X √ √

P15

Variación de la marginación

en los Polígonos Hábitat

atendidos.

Inicia Omitido √ √ √ √ √

P16Polígonos Hábitat

atendidos.Inicia Continúa Continúa Continúa √ X √ √ √

P17

Grado de satisfacción con

condiciones sociales en


Inicia Modificado Continúa Continúa √ √ ~ √ √

P18

Tiempo promedio que

dedican las mujeres que

habitan en los Polígonos

Hábitat beneficiados al

trabajo doméstico por

carecer de servicios básicos

(agua, drenaje y

electricidad).


P19 Hogares beneficiados. Inicia Continúa Continúa X X √ √ √P20

Manzanas atendidas con

obras.Inicia Continúa Continúa √ X √ √ √

P21

Hogares beneficiados con

redes de servicios básicos

(agua, drenaje o

electricidad) construidas o

mejoradas.

Inicia Continúa Continúa √ √ √ √ √

Nota: Se emplea el signo ~ cuando el indicador puede modificarse; √ cuando es adecuado y X cuando no cumple con el criterio.1 C: Claro; R: Relevante; E: Económico; M: Monitoreable y A: Adecuado.


PR

OP

ÓS

ITO

Nivel # IndicadorMatriz de Indicadores de Resultados Validación

1


63

Los indicadores de Propósito de 2007 fueron considerados excesivamente numerosos en la RI-07, además de señalarse que se trataba de “Indicadores de gestión que no están midiendo el resultado esperado del programa en la población objetivo”. En la revisión se evitan juicios adicionales por considerarse que estos indicadores deberían modificarse tras una revisión del resumen narrativo del Propósito. La poca especificidad de la RI-07 impide dar cuenta de cuál fue su papel en los cambios observados para 2008, salvo en el caso de dos indicadores de gestión que en efecto fueron eliminados (P11 y P12). Se eliminaron dos indicadores de difícil obtención de datos (P2 y P5), así como P3, sin que se pueda apreciar una probable explicación sobre este cambio. Se introdujeron adicionalmente tres indicadores de eficacia, de los cuales: P13 puede considerarse un indicador de cobertura inadecuado para la definición del Propósito; P14 resulta relevante pero no claro porque no considera a todas las acciones de Hábitat como medibles a nivel de hogares, y no económico porque su cálculo requeriría una encuesta o un censo para cuantificar los hogares pobres en los polígonos Hábitat, y P15 podría haber sido adecuado en todos los criterios, si bien requería incluir todas las variables de la marginación y especificar una metodología para darle seguimiento en el tiempo (posibilidad viable adaptando la metodología del índice de marginación absoluto de Conapo). Sobre los indicadores de Propósito de 2008, la RI-08 se limita a señalar que nueve eran de eficacia y 1 de economía, y sugiere incorporar otros indicadores para dar cuenta de la eficiencia y la calidad. Por su parte, en la ECR-07, respecto a la MIR-08, se valoraron inadecuados a siete de los indicadores: P13 y P14 se considera que no miden resultados, P15 porque no incluía a todos los componentes de la marginación, P10 por tener una relación marginal con el objetivo, P4 por falta de claridad sobre lo que se pretende medir y P6 y P7 por no estar incluidos en el objetivo. P1 sólo fue objetado porque no contaba con línea base, mientras que P8 y P9 sí se consideraron pertinentes (aunque ambos son de difícil obtención de datos y tampoco tenían línea base). En conjunto se consideró que “los indicadores no son suficientes, no se orientan a resultados ni reflejan significativamente el propósito del programa”134). En la EED-08 se valoró a P1, P13 y P14, todos considerados apropiados, aunque para los dos últimos se advirtió sobre la necesidad de no contabilizar polígonos u hogares que no fueran directa o completamente beneficiados por las acciones de Hábitat135 (pág. 5-7). En la respuesta de la UPAPU en la PI-08, se rebatieron las observaciones del evaluador en particular sobre el problema de contabilizar los hogares realmente beneficiados: “Hábitat sí dispone de instrumentos para identificar con exactitud a los beneficiarios, los cuales se integran en el padrón del Programa conforme a los Lineamientos de la Dirección General de Geoestadística y Padrones de Beneficiarios de la SEDESOL”136 Para 2009 fueron eliminados tres de los indicadores señalados como no correspondientes al objetivo según la ECR-07 (P6, P7, P10), además de P15, con lo que se eliminó a un indicador que requería afinarse, pero que podría generar una medición del impacto del programa. Las observaciones sobre la falta de indicadores de eficiencia parecen haberse atendido con la inclusión de P16 para acompañar la cobertura proporcional con un

134

RI-08, pág. 43. 135

EED-08 págs. 5-7. 136

Ibídem, pág. 2.


64

indicador absoluto, mientras que el interés inaugurado ese año por incorporar la dimensión de la organización social se vio reflejada en la inclusión de P17 y P18 (recuérdese la inclusión de un componente enteramente nuevo para dar cuenta de esta dimensión del Programa). Respecto a la nueva formulación de indicadores, la RI-09 comentó nuevamente su excesivo número y acusó que “no (son) todos relevantes ni adecuadamente formulados”, por lo que recomendó un “ajuste para asegurar consistencia y selección para abarcar todas las dimensiones”137. Por su parte la EED-09-10 juzgó a P13, P14 y P16 como pertinentes, relevantes o adecuados (no queda claro a qué se refería con cada calificativo) como indicadores de cobertura, mientras que a P17 lo consideró adecuado para dar cuenta de la dimensión “social” del Programa. Destaca que P17 fue considerado relevante y pertinente para medir el impacto del programa, lo que quizá explique que al año siguiente haya sido trasladado al nivel de Fin. Para 2010 los indicadores adquirieron su formulación vigente. Se conservaron los dos indicadores de percepción y se eliminó a P18 (el cual era poco operativo por su falta de claridad y difícil obtención de datos) junto con todos los indicadores de cobertura proporcional, para quedarse sólo con P16, un indicador de cobertura en términos absolutos que fue acompañado de tres nuevos indicadores de ese tipo, P19, P20 y P21. La ECR-11-12 sólo reconoció relevancia para el Propósito a los dos indicadores de percepción, pues los cuatro indicadores restantes registrarían, en opinión del evaluador, los apoyos otorgados por el programa, por lo que deberían trasladarse al nivel de Componentes138. La MTRI-11 no consideró relevantes a ninguno de los indicadores, pero apuntó que para P21 el problema se podría resolver si se verificaban mecanismos para que “no exista la posibilidad de que un mismo hogar pueda ser contabilizado por los tres servicios, lo cual sobrestimaría los avances del programa”; recomendó adicionalmente separar los tres tipos de servicios prestados y reportar no los números absolutos sino tasas de variación o de cobertura139. Respecto a P4 y P7, se señaló que “los indicadores de percepción no se recomiendan a nivel de Propósito, este tipo de indicadores deben ubicarse a nivel de Componente”, además de que faltaba claridad en la fórmula de cálculo y que no parecían económicos por requerir la elaboración de una encuesta. En cualquier caso sí reconocía la posibilidad de que ambos indicadores pudieran ser relevantes para el nivel, siempre y cuando se midiera “con respecto a un periodo base o de referencia”140. Finalmente, se sugirió trasladar a nivel de Componentes a P19 y P20141.

137

RI-09, págs. 1-2. 138

ECR-11-12, pág. 17. 139

MTRI-11, págs. 16-17. 140

Ibídem, págs. 19-23. 141

Op cit., págs. 15-18.


65

4.3.2. Validación de los indicadores vigentes de los niveles de Propósito y Fin

En las tabla 8 se reproducen las características (nombre, descripción y método de cálculo) de los indicadores vigentes de la MIR para el Fin y el Propósito del Programa, respectivamente, así como su validación con base en la MML y los criterios para elección de indicadores C.R.E.M.A. contenidos en la Guía para el diseño de indicadores estratégicos de la SHPC y el Coneval. F1 destaca por cumplir con todos los criterios básicos y por ser el único de los tres indicadores de Fin que puede relacionarse con la medición de la pobreza multidimensional del Coneval, al incluir variables consideradas en el indicador de carencia por servicios básicos en la vivienda, que a su vez es una de las seis carencias sociales con las que esta institución pretende dar cuenta de las dimensiones sociales de la pobreza. Su relación es más directa con los índices de marginación del Conapo, ya que las tres variables que conforman F1 (cobertura de agua, drenaje y electricidad) son parte de las nueve que constituyen el índice de marginación por municipio y de las siete que lo hacen del índice de marginación por localidad; dos de ellas (agua y drenaje) se incluyen además en el índice de marginación urbana. F6 cumple con los criterios básicos, salvo el de ser económico, dado que requiere la realización de una encuesta para obtener los datos necesarios para su cálculo. El problema de la economía del indicador no puede resolverse a corto plazo, sin embargo, debe recordarse que el Programa planea realizar diagnósticos y programas de intervención para cada Polígono Hábitat; se recomienda utilizar estos mecanismos para el establecimiento de una línea base exhaustiva (que reemplazaría a la actual obtenida de una encuesta realizada en 2009) y adecuar la toma de datos operativos del programa para monitorear anualmente lo ocurrido en cada polígono respecto a las tres variables consideradas en el indicador. En oposición a los comentarios de la MTRI-11 y la ECR-11, la presente evaluación considera relevante a F6 en función de que las variables que incluye tienen un impacto directo en la calidad de vida; sin embargo, debe anotarse que ninguna de ellas forma parte del cálculo de alguna medida oficial relacionada con el bienestar social (como la marginación o la pobreza multidimensional). Por su parte, F7 incumple parcialmente algunos criterios de validación por las siguientes razones: a. La ficha técnica complementaria del indicador especifica las 14 variables incluidas en

el indicador y el método de construcción del índice, sin embargo no especifica por qué se optó por incluir cinco componentes (que requeriría observar el porcentaje de varianza acumulada explicada por ellos) ni cómo fueron ponderados estos componentes en el índice final, ni los coeficientes que cada variable tiene en cada uno de los cinco componentes incluidos.

b. Dada la falta de claridad en la construcción del indicador, no es posible evaluar la factibilidad de que sea monitoreable. De hecho el análisis de componentes principales tal cual está planteado pareciera no poder seguirse en el tiempo, pues el cálculo del índice resultante cambiaría cada año en el que se tome la muestra. Es posible resolver estos inconvenientes, pero es necesario que el Programa especifique cómo planea hacerlo.


66

Tabla 8. Validación de los indicadores vigentes del nivel Fin y Propósito de la MIR Nivel

Método de cálculo

(Porcentaje de hogares con agua en el terreno

+ Porcentaje de hogares con drenaje +

Porcentaje de hogares con electricidad) / 3.

Claro Relevante Económico Monitoreable Adecuado

√ √ √ √ √Se establece sin ambigüedades lo

que pretende medir. El método de

cálculo es simple y no se presta a

confusiones.

Es un indicador sintético de uno

de los componentes de la

calidad de vida atendidos por el

Programa.

Se obtiene de los censos y conteos

de población y vivienda, por lo que

no involucra un gasto adicional para

el Programa.

La fómula permite comparación entre

sus mediciones y el cálculo es verificable

por extrenos.

Tiene una definición concreta y no presenta

complicaciones para estimar el desempeño del

Programa.

Método de cálculo

Viviendas en calles de acceso con alumbrado

público, guarniciones banquetas y pavimento

empedrado o adoquinado/ Total de

viviendas)*100.


√ √ X √ √Se establece sin ambigüedades lo

que pretende medir. El método de

cálculo es simple y no se presta a

confusiones.

Es un indicador sintético de uno

de los componentes de la

calidad de vida atendidos por el

Programa.

Requiere la elaboración de una

encuesta financiada por el Programa.

Tiene condiciones técnicas que le

permiten ser monitoreado por el

Programa.



Programa.

Método de cálculo

Análisis factorial a partir de 14 variables (5

factores).


~ √ ~ ~ √La Ficha complementaria del

indicador establece las variables

incorporadas y el método de

cálculo, sin embargo no se

menciona por qué se

seleccionaron cinco componentes

principales ni los coeficientes de

ponderación de cada variable y

cada componente para el cálculo

del índice.

Como muestra la Ficha

compementaria del indicador,

las variables incluidas en el

índice, son relevantes para

medir la "organización y

participación" social que a su

vez es un componente

atendido por el Programa de la

calidad de vida en los

Polígonos Hábitat.



Debe señalarse que es probable que

no sea posible encontrar otra

estrategia para medir "el capital

social" independientemente de su

definición.

Los índices construidos a partir de

análisis de componentes no permiten la

comparación en dos periodos diferentes,

esta limitación puede superarse pero se

requiere definir cómo tiene contemplado

hacerlo el Programa.

Tiene una definición concreta y estima el

desempeño del Programa.

Caracteristicas

Nombre Descripción

Índice de disponibilidad de servicios básicos (agua, drenaje y

electricidad) en los Polígonos Hábitat identificados.

Muestra el porcentaje de hogares con disponibilidad de servicios básicos (agua

en el terreno, drenaje y electricidad) en los Polígonos Hábitat identificados.

Nombre Descripción

Indice de capital social en poligonos intervenidos. Muestra el Índice de capital social en polígonos intervenidos a través del

programa Hábitat.

Nombre Descripción

Índice de disponibilidad de infraestructura urbana complementaria

(alumbrado, guarniciones y banquetas, y calles pavimentadas) en los

Polígonos intervenidos.

Muestra la disponibilidad de la infraestructura urbana complementaria

(alumbrado, guarniciones y banquetas, y calles pavimentadas) en los polígonos

intervenidos.

Fin

Fuente: Elaboración propia con base en la MIR 2012 del Programa Hábitat.


67

c. Al requerir la realización de una encuesta, F7 no es económico, sin embargo, es muy probable que su costo deba asumirse dada la dificultad de medir el capital social cualquiera que sea su definición.

De los indicadores de propósito, P21 cumple con los criterios básicos y se relaciona directamente con F1, contribuyendo con ello a la lógica vertical de la matriz; P16, P19 y P20 no son relevantes ya que registran un número de unidades atendidas (polígonos Hábitat, hogares y manzanas, respectivamente) y no los resultados alcanzados en ellas, como correspondería a nivel de Propósito; P19 tiene además la desventaja de no ser claro –pues no se entiende cuáles deben ser considerados hogares beneficiados dadas las numerosas acciones de Hábitat que otorgan beneficios difusos que no pueden medirse igual que las que atienden directamente a los hogares– y de no ofrecer información adicional relevante a la ya registrada por P21, F1 y F6. Por estos motivos se sugiere eliminar a P19 y trasladar a P16 y P20 al nivel de Componentes, ya que ambos pueden considerarse indicadores agregados de productos entregados. Los indicadores P4 y P17 son indicadores de percepción y como tales no miden objetivamente los resultados alcanzados por el Programa. No obstante, mientras la mejora en las condiciones físicas del entorno urbano (cuyo grado de satisfacción se registra en P4) tiene un indicador de resultados objetivo (P21) y es susceptible de ser monitoreada mediante otros ya presentes en los niveles de Fin (F1 y F6) y Componentes, la naturaleza del cambio en las condiciones sociales es más difícil de registrar, por lo que la presente Meta Evaluación considera que P17 es un indicador proxy relevante y que presenta como único inconveniente la necesidad de realizar una encuesta anual para registrarlo.


68

Tabla 8.1. Validación de los indicadores vigentes del nivel Fin y Propósito de la MIR (continuación)

Nivel

Nombre Nombre Método de cálculo

Número de Polígonos Hábitat atendidos en el año.


√ X √ √ √Se establece sin

ambigüedades lo que

pretende medir. El método

de cálculo es simple y no se

presta a confusiones.

No mide el avance en la

mejora en las condiciones

físicas y sociales en los

Polígonos Habitat, pues se

debe asumir que esta mejora

existe en los polígonos

atendidos.

Sólo depende de datos recabados

en la operación del Programa.

Tiene condiciones técnicas

que le permiten ser

monitoreado por el

Programa.



Programa.

Método de cálculo

Numero de hogares beneficiados en el año.


X X √ √ √La acciones del programa

incluyen beneficios difusos

que no pueden medirse

igual que los beneficios

directos a los hogares.

No mide el avance la mejora

en las condiciones físicas y

sociales en los Polígonos

Habitat, pues se debe asumir

que esta mejora existe en los

hogares.




que le permiten ser

monitoreado por el

Programa.



Programa.

Método de cálculo

Número de manzanas atendidas con obras de

infraestructura básica y complementaria desde 2004.


√ X √ √ √Se establece sin





No mide el avance la mejora

en las condiciones físicas y

sociales en los Polígonos

Habitat, pues se debe asumir

que esta mejora existe en las

manzanas atendidas.




que le permiten ser

monitoreado por el

Programa.



Programa.

Descripción

Polígonos Hábitat atendidos. Número de Polígonos Hábitat atendidos por el Programa en el año.

Nombre Descripción

Hogares beneficiados. Muestra los hogares pertenecientes a los Polígonos Hábitat y que

han sido beneficiados por el Programa en el año.

Nombre Descripción

Manzanas atendidas con obras. Muestra el número de manzanas atendidas con obras.

Caracteristicas

Pro

pó

sit

o



69

Tabla 8.2. Validación de los indicadores vigentes del nivel Fin y Propósito de la MIR (continuación) Nivel

Método de cálculo

Suma de hogares beneficiados con redes de agua

potable + Hogares beneficiados con redes de drenaje

+ hogares beneficiados con redes de electricidad,

construidas o mejoradas en el año.


√ √ √ √ √Se establece sin





Mide la cobertura de mejoras

concretas en las condiciones

físicas.




que le permiten ser

monitoreado por el

Programa.



Programa.

Método de cálculo

(Porcentaje de hogares satisfechos con las vías de

acceso a la colonia + Porcentaje de hogares

satisfechos con el aspecto de la colonia + Porcentaje

de hogares satisfechos con la pavimentación de las

calles de la colonia + Porcentaje de hogares

satisfechos con las baquetas y guarniciones de su

colonia + Porcentaje de hogares satisfechos con el

alumbrado público de su colonia) / 5.


√ X X √ √Se establece sin





No es una medida objetiva

de la mejora en las

condiciones físicas




que le permiten ser

monitoreado por el

programa.



programa.

Método de cálculo

Porcentaje de hogares satisfechos con la convivencuia

entre los vecinos + porcentaje de hogares satisfechos

con la convivencia dentro de las familias+ porcentaje

de hogares satisfechos con la confianza y solidaridad

entre los vecinos)/3.


√ √ ~ √ √Se establece sin





No es una medida objetiva

de la mejora en las

condiciones sociales, pero es

un proxy aceptable en

función de la dificultad para

medir los resultados

alcanzados en la "mejora en

las condiciones sociales".



Debe señalarse que probablemente

no sea posible encontrar otra

estrategia para medir el grado de

satisfacción con las condiciones

sociales.


que le permiten ser

monitoreado por el

Programa.



Programa.


Nombre Descripción

Grado de satisfacción con condiciones sociales en


Muestra el grado de satisfaccion con condiciones sociales en

poligonos intervenidos.

Caracteristicas

Pro

pó

sit

oHogares beneficiados con redes de servicios básicos

(agua, drenaje o electricidad) construidas o mejoradas.

Muestra la cantidad de hogares beneficiados con redes de servicios

basicos (agua, drenaje o electricidad) construidas o mejoradas en

el año.

Nombre Descripción

Nombre Descripción

Grado de satisfacción con condiciones físicas del entorno

urbano en polígonos intervenidos.

Muestra el Grado de satisfacción con condiciones físicas del

entorno urbano en polígonos intervenidos.


70

Finalmente, se sugiere reincorporar como indicador de Propósito al porcentaje de polígonos Hábitat atendidos” ya que tiene una aportación marginal de información relevante para el nivel (Véase la tabla 9).

Tabla 9. Propuesta de inclusión de indicador de Propósito

Nombre Definición Método de cálculoFrecuencia de

medición

Medios de

verificación

Porcentaje de

Polígonos Hábitat

atendidos

Muestra el porcentaje de Polígonos

Hábitat atendidos por el Programa

con respecto del total de Polígonos

identificados. Como Polígonos

atendidos se considera en los que se

financió al menos una obra o

proyecto en el periodo de referencia.

(Polígonos Hábitat

atendidos / Total de

Polígonos Hábitat

identificados) x 100

Trimestral

Registros

administrativos del

Programa

Fuente: Adaptación de la ficha técnica del indicador de 2009.

4.4. Aspectos susceptibles de mejora vinculados con la MIR

Como resultado de las evaluaciones efectuadas, el Programa Hábitat ha atendido y se ha comprometido a atender distintos Aspectos Susceptibles de Mejora (ASM) vinculados con su operación; desde 2007 el programa ha recibido diecinueve ASM, los cuales ha solventado y documentado casi en su totalidad,142 de éstos, únicamente dos hacen referencia expresa al diseño de la MIR: 143 los ASM siete y catorce, derivados de la EED-09-10 y la EED-08, respectivamente, fueron los que establecieron procesos de mejora a la MIR (véase tabla 10). En el periodo analizado, el Programa reportó cuatro actividades concretadas para mejorar la MIR y una más por cumplir en 2013. En primer lugar se reforzó la elaboración de las fichas técnicas, que de 2009 a 2012 alcanzaron a tener líneas base en su totalidad. La segunda actividad consistió en otorgar a las dependencias que pudieran realizar comentarios y revisiones sobre la MIR, la documentación técnica disponible, a fin de que éstas pudieran realizar mejores propuestas de modificación de indicadores. No obstante, al menos en lo que a las revisiones del Coneval se refiere, no quedó documentado en el seguimiento de los

142

El único ASM no atendido ni siquiera parcialmente fue el de “Acotar gradualmente las líneas de acción que apoya el Programa para que únicamente permanezcan aquellas que contribuyen en mayor medida con el mejoramiento de la calidad de vida de los habitantes de las zonas urbanas marginadas” y que en particular proponía la separación de la vertiente de Centros Históricos del Programa. El motivo de la no atención de este ASM identificado en la ECR-07 fue la inclusión, al menos en 2012, en el Presupuesto de Egresos de la Federación de la conservación de centros históricos como recurso etiquetado para el Programa. Para otros dos ASM, uno correspondiente a la MIR (véase la tabla 7) y otro relativo a las reglas de operación, se reportan también avances de 0%, pero a causa de que se planea actualizar en 2013 ambos instrumentos. 143

Atender algunos ASM involucró el fortalecimiento de algunas líneas de acción del Programa y, en consecuencia, la inclusión de nuevos indicadores en la MIR, pero ello no se registra aquí en función de que los nuevos indicadores no recibieron observaciones a su vez como ASM.


71

indicadores el que las propuestas planteadas por esta institución no fueran viables. 144 La tercera actividad establece que el proceso de mejora de las matrices habrá de realizarse con participación coordinada de las áreas involucradas (enlistadas en la tabla 10).

Tabla 10. ASM vinculados con la MIR del programa Hábitat Aspecto

Susceptible de Mejora

(ASM)

Actividades

(acciones a emprender)

Área

coordinadora

Área

responsable

Resultados

esperados

Mejorar la Matriz de Indicadores,

estableciendo líneas de base y

metas para todos los indicadores.

Actualizar resumen narrativo e indicadores y en

su caso modificar líneas de base y metas.UPAPU UPAPU

Actualizar la matriz de

indicadores para resultados.

Fomentar que en las revisiones y comentarios a

las MIR, que realicen las instancias correspon-

dientes (SHCP, SFP, Coneval, Inmujeres, ASF,

etc.), se considere la documentación técnica

disponible, a fin de que las propuestas de mejora

sean factibles técnica y económicamente.

DGEMPS DGEMPS, UPRI y DGS

Mejores comentarios a las

Matrices de Indicadores para

Resultados al realizarse con

mayor información.

Definir, en coordinación con las áreas

involucradas, el proceso interno de mejora de

MIR del ejercicio fiscal 2011, a fin de que se lleve

a cabo de manera ordenada y conforme a la

normatividad.


Contar con un proceso de mejora

de matrices acordado con las

áreas participantes.

Fomentar las mejoras en el diseño de indicadores

en el ejercicio fiscal correspondiente a través de:

1. Comentarios y recomendaciones a las fichas

técnicas de la MIR.

2. Documentación de aspectos relacionados a la

calidad de los indicadores en notas o fichas

complementarias con base en información

disponible.


Solidez técnica en los

indicadores de la MIR,

documentando sus atributos de

Claridad, Relevancia, Economía,

Monitoreable (replicable) y

Adecuado.

Revisar los indicadores anuales

que se presentan en las MIR, para

poder realizar un mejor

seguimiento de las metas anuales

y de su evolución.

Actualizar el resumen narrativo y los indicadores,

y en su caso modificar las líneas de base y las

metas, así como las Fichas Técnicas de la Matriz

de Indicadores para poder realizar un mejor

seguimiento de las metas anuales y de su

evolución.

UPAPU UPAPU, DGAP y UPRI Actualizar la MIR.

Fuente: Elaboración propia con información del Programa.

Continuar con el proceso de

mejora de las Matrices de

Indicadores para Resultados,

documentando la solidez técnica

de los indicadores, su relevancia,

el establecimiento de líneas de

base y metas.

La cuarta actividad de acuerdo con el programa consistió en documentar “aspectos relacionados a la calidad de los indicadores” y en “comentarios y recomendaciones a las fichas técnicas”, sin embargo, hasta el momento el Programa no ha puesto a disposición la documentación a la que hace referencia y no queda claro si él o una dependencia externa realizaría los “comentarios y recomendaciones a las fichas técnicas”. La última actividad hace referencia a la actualización de los resúmenes narrativos e indicadores para la MIR de 2013. El programa plantea que “en su caso” se modificarán las líneas base de los indicadores, sin que quede claro qué tipos de problemas pueden enfrentar los indicadores para necesitar modificar el punto de referencia a partir del cual medir los avances.

144

Al no tratarse de una evaluación reconocida en el sistema de evaluaciones, las observaciones del Coneval no requieren que una respuesta oficial por parte del Programa en un documento público análogo a las posiciones institucionales, lo que se traduce en general en que es difícil darle seguimiento a la importancia otorgada por cada programa a las revisiones internas de aquella institución.


72

4.5. Recomendaciones

En las evaluaciones revisadas fue frecuente la discrepancia de criterios en los juicios emitidos hacia los indicadores en la MIR. Al respecto, destaca que las evaluaciones específicas de desempeño solieran valorar positivamente los indicadores pero sin que aparentemente haya sido considerada su relevancia con respecto al resumen narrativo. Ello es un problema sistémico de las EED que por su diseño tienden a valorar más el cumplimiento de las metas que el Programa declara para cada ejercicio en cada indicador, y valorar menos si estos indicadores miden realmente el desempeño expresado como el avance en los objetivos. Independientemente de las controversias sobre si esta segunda acepción es más de diseño que de desempeño o sobre la pertinencia de valorar la lógica vertical de la MIR en dichas evaluaciones, lo que es claro es que el registro del avance de metas, al realizarse con los datos del propio programa evaluado, no constituye una fiscalización del desempeño del programa que requiera evaluación (bastaría con que el programa presentara la MIR especificando metas y logros anuales), limitando la posible relevancia de las EED a las secciones de hallazgos, las cuales habitualmente contienen las observaciones más importante para cada investigador, pero no una profundización de las mismas ni observaciones puntuales. Con respecto a las revisiones internas del Coneval, se detectó una debilidad importante derivada de que, a diferencia de lo que ocurre con las evaluaciones, los programas no tienen la obligación de responder a las observaciones realizadas en estos documentos. Ello imposibilita saber con certeza si estas observaciones fueron atendidas o los motivos por los cuales son desechados, por lo que se sugiere a la UPAPU que ante las observaciones del Coneval elabore documentos equivalentes a los posicionamientos institucionales para que estén disponibles en posteriores evaluaciones. El equipo meta evaluador considera que los indicadores vigentes del programa en el nivel de Fin pueden ser adecuados para registrar el avance en la “calidad de vida” referida en el resumen narrativo, pero habida cuenta de que el término es polisémico, se recomienda que el Programa elabore una ficha técnica para definir qué entiende por el mismo y cómo los tres indicadores lo miden. Adicionalmente se recomienda resolver los problemas identificados para el indicador F7 a fin de que sea validado en futuras evaluaciones. Sobre el resumen narrativo del Fin, se recomienda sostener sólo uno de los dos conceptos sobre los que el programa pretende impactar, “pobreza” y “calidad de vida”, pues aunque se trata de términos relacionados hacen parecer que el programa tiene dos objetivo mayores (como lo indicó la RI-09). En particular, pareciera más apropiado eliminar el término de “pobreza”, ya que si bien el Programa atiende algunas variables incorporadas en la definición oficial de pobreza multidimensional y por ello contribuye a su combate, son muchas más las variables involucradas en este concepto que no son atendidas por Hábitat, mientras que otros campos de acción que sí aborda no están vinculados a la pobreza como tal. Ello ha motivado controversias expresadas en algunas evaluaciones (vgr. en la ECR-07 y la ECR-11) y en revisiones internas del Coneval (específicamente en la MTRI-11) respecto a si realmente el combate a la pobreza es o no un campo en el que el Programa esté “focalizado”. Puede presumirse que estas controversias continuarán en tanto se mantenga el concepto de pobreza en el resumen narrativo, mientras que eliminarlo no afecta en absoluto la lógica ni pertinencia de las acciones del Programa. En el nivel de Propósito se presentan indicadores insuficientes y/o inadecuados para dar cuenta de la consecución del objetivo, mientras que en los Componentes los resúmenes


73

narrativos no hacen referencia a productos entregados, como corresponde a este nivel, sino a resultados alcanzados que corresponderían al nivel superior. A juicio del equipo meta evaluador, se trata de dos problemas relacionados con uno más general en la articulación de la lógica vertical entre el nivel de Componentes y de Propósito, problema originado por dos motivos que se enuncian a continuación:

a. El Programa atendió progresivamente las observaciones que en distintas evaluaciones y revisiones internas se realizaron sobre el exceso de rubros en los que se dividían los Componentes; como consecuencia éstos se agruparon en resúmenes narrativos que en realidad dan cuenta de resultados alcanzados en cada una de las tres principales modalidades del Programa y en la vertiente de Centros Históricos.

b. Hábitat es un programa complejo que, en el marco de la MML, podría ser concebido como compuesto por tres subsistemas correspondientes a sus tres modalidades (desarrollo social y comunitario, mejoramiento del entorno urbano y promoción del desarrollo territorial y urbano). Cada uno de estos subsistemas tendría su Propósito y se articularían a nivel superior por perseguir el mismo Fin, y a nivel inferior enlazando los componentes en su secuencia lógica de operación. Lo anterior, un resumen de la propuesta de la ECR-07, representa una aplicación de la MML que podría replicarse en otros programas con amplitud de líneas de acción y que atacan paralelamente diversas problemáticas en aras de la “integralidad”, sin embargo la forma particular en que esta metodología se institucionalizó en la administración federal exige que cada programa deba presentar a la SHCP sólo una MIR, con lo que se anula la factibilidad de la propuesta.

De esta manera, el resultado alcanzado en cada modalidad no puede ser aglutinado en un solo objetivo y se obliga a suplir esta deficiencia en el nivel de Componentes. Al hacerlo, se debe optar por un resumen narrativo más sintético en el Propósito que prácticamente reproduce los alcances del nivel Fin, lo que repercute en un vacío de indicadores para el primero, pues los más pertinentes ya están incorporados en el nivel superior, pudiendo sólo registrarse indicadores que aporten información complementaria en el nivel de Propósito. Lo anterior es un problema difícil de resolver en la concreción institucional cerrada que se ha dado a la MML, por lo que la presente Meta Evaluación se limita a una sugerencia incrementalista: la incorporación del indicador “Porcentaje de Polígonos Hábitat atendidos” en el nivel de Propósito como una medida de cobertura que no resuelve la insuficiencia de indicadores en el nivel, pero aporta información complementaria relevante. Existen alternativas, tales como trasladar a nivel de Propósito a los indicadores F1 y F6 y diseñar un indicador de Fin análogo al utilizado en el PDZP, “Diferencia en el índice de acceso a la infraestructura básica en la vivienda”145 que permite medir la incidencia del programa al comparar el índice entre las zonas atendidas y no atendidas, lo que involucraría algunos problemas metodológicos y conceptuales importantes como si las zonas no atendidas deben circunscribirse a aquellas con características similares a los polígonos Hábitat. Adicionalmente, podrían construirse indicadores de resultados que den cuenta de la mejora en las condiciones

145 El PDZP focaliza sus acciones con un criterio territorial, localidades en municipios de alta y muy alta marginación, que constituye un equivalente rural de los Polígonos Hábitat. Si bien la priorización de sus diferentes líneas de acción es diferente, el PDZP otorga una multiplicidad de tipos de apoyos que lo asemejan en complejidad a Hábitat, entre los que se encuentra la provisión de servicios básicos en la vivienda (agua, drenaje, electricidad drenaje) que fundamenta el indicador.


74

sociales, midiendo por ejemplo la disminución en la incidencia delictiva o el incremento en la equidad de género, propuestas que, sin embargo, también presentan retos metodológicos importantes. Sean cuales sean las decisiones del Programa de modificación a los indicadores de la MIR (aún la de mantener los indicadores vigentes), se perfila necesaria la realización de una Evaluación Específica de Indicadores que profundice el presente análisis y sus propuestas.


75

Conclusiones

Las Evaluaciones realizadas al Programa en el periodo 2007-2012, en particular la Evaluación de Impacto 2008-2012, demuestran con evidencia robusta que Hábitat es un instrumento de política pública con capacidad para incidir favorablemente en el mejoramiento de las condiciones de vida en las zonas urbanas con mayores niveles de marginación. La continuidad y fortalecimiento de los apoyos otorgados por el programa para el mejoramiento del entorno urbano y el desarrollo social comunitario es indispensable como parte de una estrategia nacional de desarrollo. Asimismo, las Evaluaciones han permitido documentar los avances del programa en el mismo periodo. Destaca la elaboración de documentos institucionales (Diagnóstico, Nota de Población Potencial y Objetivo, Plan Estratégico) que facilitan la comprensión de los alcances del programa y la discusión de alternativas, así como la implementación de instrumentos que le permiten obtener información de campo para demostrar sus resultados y registrar la satisfacción de sus beneficiarios con las acciones realizadas. Las Evaluaciones también han dejado constancia de problemas pendientes de resolver, en particular la falta de una estrategia de cobertura documentada, la cual tendría que estar acompañada de mecanismos para profundizar en el conocimiento de las necesidades y solicitudes de apoyo. Para el equipo meta evaluador es fundamental resaltar, en el contexto de cambio de administración en el gobierno federal, la oportunidad de mejorar el desempeño del programa mediante su coordinación con otros programas. En este sentido, la principal propuesta radica en la realización de una Evaluación Estratégica que analice la integralidad con la que el gobierno federal contribuye, a través de sus programas, a “hacer ciudad”. En una primera etapa, en el ámbito de la Subsecretaria de Desarrollo Urbano y Ordenamiento Territorial de SEDESOL, a partir del análisis de los tipos de apoyo ofrecidos por sus programas, y de las coincidencias y complementariedades entre ellos, la evaluación deberá determinar los ámbitos de actuación más convenientes para propiciar la efectividad y eficiencia en la implementación de las estrategias responsabilidad de esta subsecretaría. El equipo meta evaluador anticipa conveniente robustecer la capacidad de gestión del Programa Hábitat en sus modalidades de apoyo al mejoramiento del entorno urbano y el desarrollo social y comunitario, mediante la reasignación de algunos de los apoyos que gestiona para la promoción del desarrollo urbano, la prevención y atención de desastres naturales, así como para acondicionamiento de espacios públicos, incluyendo la rehabilitación de Centros Históricos. Otro eje de propuestas se deriva de la oportunidad de mejorar la identificación de las necesidades de la población para determinar las acciones más pertinentes en cada localidad, la apreciación de que la información sistematizada de los proyectos ejecutados no es utilizada para valorar los avances y programar nuevas obras, la falta de conocimiento sobre las capacidades de gestión de los gobiernos municipales y la percepción que existe el riesgo de que los municipios prioricen de forma inadecuada sus proyectos. Para su atención, se recomienda el desarrollo del “Expediente de Municipio” como herramienta para orientar la elaboración de propuestas y validar la selección de proyectos. También se aprecia la posibilidad de mejorar la eficiencia y efectividad del programa mediante la integración de procesos con los demás programas de la SDUOT; en este sentido, se propone realizar de una Evaluación de Procesos para el conjunto de los programas que dictamine el alcance más conveniente en la homologación de los procesos de selección y supervisión.


76

Para subsanar la insuficiencia de la estructura de la Evaluación Específica de Desempeño para profundizar en el desempeño del programa, se propone la realización de una Evaluación Complementaria de Distribución de Apoyos, para monitorear la evolución en el tiempo de cada Tipo de Apoyo en términos de su costo, población atendida y distribución geográfica, a efecto de identificar diferencias en la cobertura a las carencias y rezagos en materia de infraestructura y equipamiento a nivel local. Asimismo, a modo de dar continuidad a la Evaluación de Impacto 2012, se recomienda realizar una Evaluación Complementaria de Resultados. El objetivo sería dar seguimiento a indicadores de interés sobre la calidad de vida y la integración social y urbana. Por otra parte, la revisión de programas similares en el ámbito internacional, además de reafirmar la pertinencia del tipo de apoyos ofrecidos por el Programa en relación con el fin de mejorar las condiciones de vida, aportó elementos que sugieren la conveniencia, entre otras, de en el futuro analizar el problema de la irregularidad de la tenencia de la tierra desde una perspectiva más amplia (que incluya la oferta de suelo apto para la población de menores ingresos), o también la posibilidad de delegar en la comunidad la administración de los servicios públicos como mecanismo para impulsar el desarrollo de capacidades y propiciar el autoempleo. Con relación a MIR del programa, se recomienda que el resumen narrativo del Fin mantenga sólo el concepto de “calidad de vida”. Complementariamente, se considera que los indicadores del nivel de Fin pueden ser adecuados para registrar el avance en cuanto a este concepto, se propone la inclusión de indicador para el nivel de Propósito y se sugieren algunas alternativas de indicadores que requieren estudiarse para evaluar su factibilidad. A nivel de Componentes se sugiere modificar los resúmenes narrativos para hacerlos acordes al nivel. Asimismo, el análisis de la MIR concluyó que programas complejos como Hábitat, muestran que debe rediscutirse la aplicación de la MML en la administración federal, particularmente en relación a la posibilidad de establecer esquemas de matrices enlazadas con diferentes propósitos que contribuyen al mismo Fin. Finalmente, se recomienda la elaboración de una Evaluación de Indicadores. Finalmente, el equipo meta evaluador agradece a los funcionarios de la UPAPU y de la DGEMPS sus observaciones para el enriquecimiento de esta Meta Evaluación.


77

Bibliografía

Evaluaciones

CIESAS (2008). Evaluación de Consistencia y Resultados. Programa Hábitat 2007.

COLEF (2010). Evaluación de Impacto del Programa Hábitat. Informe de Preparación para el

Levantamiento de Seguimiento, 2009-2010.

COLMEX (2008). Informe de Resultados de la evaluación de los Centros de Desarrollo

Comunitario apoyados por el Programa Hábitat de 2003 a 2006.

CONEVAL (2008). Programa Hábitat. Informe de la Evaluación Específica de Desempeño 2008.

______ (2010). Programa Hábitat. Informe de la Evaluación Específica de Desempeño 2009-

2010. Valoración de la Información contenida en el Sistema de Evaluación del Desempeño

(SED).

______ (2012). Programa Hábitat. Evaluación de Consistencia y Resultados 2011-2012.

Mathematica Policy Research, Inc. (2007). Evaluación del Programa Hábitat en Infraestructura

Básica.

SEDESOL (2011). Programa Hábitat. Informe de la Evaluación Específica de Desempeño 2010-

2011. Valoración de la Información contenida en el Sistema de Evaluación del Desempeño

(SED).

UAM (2009). Informe de resultados. Informe final de la Evaluación Específica de Monitoreo de

Obra Pública.

Posiciones institucionales

SEDESOL (2008). Programa Hábitat. Posición Institucional. Evaluación Específica de

Desempeño 2008.

______ (2009). Programa Hábitat. Posicionamiento institucional acerca del informe final.

Evaluación Específica de Monitoreo de Obra Pública Financiada por Hábitat.

______ (2010a). Programa Hábitat. Opinión Institucional. Evaluación Específica de Desempeño

2010.

______ (2010b). Programa Hábitat. Posición Institucional. Evaluación Específica de

Desempeño.

______ (2012). Posición Institucional. Evaluación de Consistencia y Resultados 2011-2012 del

Programa Hábitat.


78

Diagnósticos

SEDESOL (2010). Diagnóstico del Programa Hábitat.

Otros documentos

Alcaldía de Medellín (2007). Programa de Mejoramiento Integral de Barrios PMIB.

CONEVAL (2007a). Programa Hábitat. Matriz de Indicadores. Comentarios y Sugerencias.

______ (2007b). Anexo 02. Nota técnica con los principales conceptos de la Matriz de

Indicadores.

______ (2008). Matriz de Indicadores. Comentarios y Sugerencias.

______ (2011). Informe de Sesiones de Mesa Técnica de Revisión de Indicadores del

Programa Hábitat.

CONEVAL-SEDESOL (2012). Evaluación de Consistencia y Resultados 2011-2012. Rescate de

espacios públicos (PREP).

CONEVAL-SFP (2008). Anexos al Oficio Circular 307-A.-1593. Anexo 2. Metodología para la

Elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la Administración

Púbica Federal.

ERN Ingenieros Consultores S.C. (2011). Evaluación de Diseño del Programa de Prevención de

Riesgos en los asentamientos Humanos 2011.

Gobierno de Argentina-Subsecretaría de Desarrollo Urbano y Vivienda (2004). Evaluación Ex

post. Barrio Argentino / Nueva Rioja, Provincia de la Rioja.

ONU-CEPAL. (2006). Documento de proyecto. Experiencias emblemáticas para la superación de

la pobreza y precariedad urbana: provisión y mejoramiento de la vivienda.

Ramírez, Ronaldo (2002), “Evaluación Social de Políticas y Programas de Vivienda: Un Análisis

de la Contribución de la Vivienda a la Reducción de la Pobreza Urbana”, Revista invi, vol. 17,

núm. 45, p.p. 9-57.

SEDESOL (2007). Matriz de Indicadores del Programa Hábitat 2007.

______ (2008). Matriz de Indicadores del Programa Hábitat.

______ (2011). Programa Hábitat. Nota sobre población Potencial y Población Objetivo.

______ (2012a). Anexo 4. Resumen Narrativo de la Matriz de Indicadores para Resultados

2011.

______ (2012b). Indicadores de Desarrollo Social. I. Avances y retos de la política social. Núm.

38, agosto de 2012.

http://www.coneval.gob.mx/cmsconeval/rw/resource/coneval/eval_mon/915.pdf

http://www.coneval.gob.mx/cmsconeval/rw/resource/coneval/eval_mon/915.pdf


79

______ (2012c). Matriz de Indicadores para Resultados 2012.

______ (2012d). Programa Hábitat. Anexo 1. Descripción General del Programa.

SHCP (2012). Programa Hábitat. Anexo F. Seguimiento Histórico: Aspectos Susceptibles de

Mejora Derivados de Informes y Evaluaciones Externas por Programa.

Normatividad

Cámara de Diputados del H. Congreso de la Unión. Secretaría General. Secretaría de Servicios

Parlamentarios. Dirección General de Servicios de Documentación, Información y Análisis. Ley

Federal de Presupuesto y Responsabilidad Hacendaria (última Reforma D.O.F. 9 de abril de

2012).

CONEVAL (2009). Metodología para la medición multidimensional de la pobreza en México.

SHCP-CONEVAL (2010). Guía para el Diseño de Indicadores Estratégicos.

SHCP-SFP-CONEVAL (2010). Guía para la Construcción de la Matriz de Indicadores para

Resultados.

______ (2011). Mecanismos para el seguimiento a los aspectos susceptibles de mejora

derivados de informes y evaluaciones a los programas presupuestarios de la Administración

Pública Federal.

Reglas de operación

CONEVAL (2007). Anexo 02. Nota Técnica con los principales conceptos de la Matriz de

Indicadores.

CONEVAL-SHCP (2008). Lineamientos para la Vinculación de la Matriz de Indicadores de los

Programas Correspondientes.

CONEVAL-SHCP-Subsecretaría de Egresos. Unidad de Política y Control Presupuestario (2008).

Lineamientos para la Vinculación de la Matriz de Indicadores para Resultados y las Reglas de

Operación de los Programas Correspondientes.

D.O.F. (14 de marzo de 2003).Secretaría de Desarrollo Social. Acuerdo por el que se emiten y

publican las Reglas de Operación del Programa Hábitat, para el ejercicio fiscal 2003.

______ (23 de marzo de 2004). Secretaría de Desarrollo Social. Acuerdo por el que modifican

las Reglas de Operación del Programa Hábitat para el ejercicio fiscal 2004.

______ (18 de febrero de 2005). Secretaría de Desarrollo Social. Acuerdo por el que se emiten

y publican las Reglas de Operación del Programa Hábitat, a cargo de la Secretaría de

Desarrollo Social, para el ejercicio fiscal 2005.

http://www.diputados.gob.mx/LeyesBiblio/pdf/LFPRH.pdf




http://www.funcionpublica.gob.mx/scagp/dgorcs/reglas/2003/r20_sedesol03/completos/ro_habitad_2003.htm

http://www.funcionpublica.gob.mx/scagp/dgorcs/reglas/2003/r20_sedesol03/completos/ro_habitad_2003.htm

http://www3.diputados.gob.mx/camara/001_diputados/003_comisiones/001_ordinarias/desarrollo_social/f_reglas_de_operacion/reglas_de_operacion_2004






80

______ (17 de febrero de 2006). Acuerdo por el que se modifican las Reglas de Operación del

Programa Hábitat, a cargo de la Secretaría de Desarrollo Social, para el ejercicio fiscal 2006.

Primera sección.

______ (28 de febrero de 2007). Secretaría de Desarrollo Social. Acuerdo por el que se

modifican las Reglas de Operación del Programa Hábitat, para el ejercicio fiscal 2007. Octava

sección.

______ (30 de marzo de 2007). Lineamientos generales para la evaluación de los Programas

Federales de la Administración Pública Federal.

______ (29 de diciembre de 2008). Secretaría de Desarrollo Social. Acuerdo por el que se

modifican las Reglas de Operación del Programa Hábitat, para el ejercicio fiscal 2009. Séptima

sección.


modifican las Reglas de Operación del Programa Hábitat, para el ejercicio fiscal 2008. Segunda

sección.


modifican las Reglas de Operación del Programa Hábitat, para el ejercicio fiscal 2010. Novena

sección.

______ (31 de diciembre de 2010) Secretaría de Desarrollo Social. Acuerdo por el que se

modifican las Reglas de Operación del Programa Hábitat, para el ejercicio fiscal 2011.


emiten las Reglas de Operación del Programa Hábitat, para el ejercicio fiscal 2012. Décimo

primera sección.

______ (1 de junio de 2012). Ley General de Desarrollo Social.

SHCP. Subsecretaría de Egresos. Unidad de Política y Control Presupuestario (2012).

Lineamientos para revisión, actualización, calendarización y seguimiento de la Matriz de

Indicadores para Resultados de los programas presupuestarios 2012.

SHCP-CONEVAL. (2008). Anexo 2. Metodología para la Elaboración de la Matriz de Indicadores

de los Programas Presupuestarios de la Administración Pública Federal.

SHCP-SFP-CONEVAL (2008). Mecanismo para el Seguimiento a los Aspectos Susceptibles de

Mejora Derivados de Informes y Evaluaciones Externas a Programas Federales 2008.

______ (2010). Mecanismos para el Seguimiento a los Aspectos Susceptibles de Mejora

Derivados de Informes y Evaluaciones a los Programas Federales de las Administración

Pública Federal.

http://www.sedesol2009.sedesol.gob.mx/archivos/802180/file/normatividad/reglas_operacion_2006.pdf




81

______ (2011). Mecanismos para el Seguimiento a los aspectos susceptibles de mejora

derivados de informes y evaluaciones a los programas presupuestarios de la Administración

Pública Federal.

Programas anuales de evaluación

SHCP-SFP-CONEVAL (2007). Programa Anual de Evaluación para el Ejercicio Fiscal 2007 de los

Programas Federales de la Administración Pública Federal.

______ (2008). Programa Anual de Evaluación para el Ejercicio Fiscal 2008 de los Programas


______ (2009a). Programa Anual de Evaluación para el Ejercicio Fiscal 2009 de los Programas


______ (2009b). Programa Anual de Evaluación para el Ejercicio Fiscal 2010 de los Programas


______ (2010a). Mecanismo para el seguimiento a los aspectos susceptibles de mejora

derivados de Informes y Evaluaciones Externas a Programas Federales 2010.

______ (2010b). Programa Anual de Evaluación para el Ejercicio Fiscal 2011 de los Programas


______ (2011). Programa Anual de Evaluación para el Ejercicio Fiscal 2012 de los Programas


informe metodológico: programa hábitatinapam.gob.mx/work/models/sedesol/evaluacionprogramas...prah...

Documents