evaluación externa programa de incentivos estatales...incentivos estatales. se trata de un informe...

Red para el Desarrollo Sostenible de México, A.C.

Evaluación Externa Programa de

Incentivos Estatales

Segundo Informe Metodológico

Octubre, 2004

Segundo Informe Metodológico de Evaluación Externa Programa de Incentivos Estatales 2004

_______________________________________________________________________________________________________________ Calle 7 No. 1, esquina Carretera Picacho Ajusco. Co l. Ampliación Miguel Hidalgo

Delegación Tlalpan; México 14250 D.F. Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledoc [email protected]; www.rds.org.mx

2

ÍNDICE

Presentación. ..........................................................................................................................................................3

Introducción...........................................................................................................................................................4

Capítulo 1. D i s e ñ o.............................................................................................................................................5

Capítulo 2. O p e r a c i ó n ...................................................................................................................................8

Capítulo 3. Focalización y Cobertura ................................................................................................................18

Capítulo 4. Resultados (Beneficios Económicos y Sociales).............................................................................21

Capítulo 5. Percepciones de los beneficiarios ....................................................................................................23

Capítulo 6. Planes de Trabajo y Estructura de Informe Final .......................................................................25

Anexos. Instrumentos para recopilar la información......................................................................................36




3

Presentación.

El presente constituye el segundo informe de la evaluación externa del Programa de

Incentivos Estatales. Se trata de un informe de carácter eminentemente técnico ya que

contiene esencialmente la metodología para responder a los objetivos de la evaluación.

Igualmente, da cuenta del plan para efectuar la prueba piloto así como del trabajo de campo

y del análisis de la información cuantitativa y cualitativa. Incluye también una propuesta de

estructura del Informe final.

El documento consta de una Introducción y seis capítulos: Capítulo 1, Diseño; Capítulo 2,

Operación; Capítulo 3, Focalización y Cobertura; Capítulo 4, Resultados; Capítulo 5

Percepción de los beneficiarios. En el Capítulo 6 se detallan los planes para la prueba piloto,

de trabajo de campo y el procedimiento para el análisis de la información así como una

propuesta de estructura del informe final. Finalmente se incluye un apartado de Anexos.




4

Introducción

Teniendo como punto de partida la propuesta técnica que presentó la RDS para dar

cumplimiento a cada uno de los objetivos de la evaluación el presente documento

esencialmente profundiza la propuesta metodológica. La estructura seguida es similar en

cada una de los capítulos: se señala el objetivo de la evaluación y posteriormente el

procedimiento metodológico, presentando las preguntas principales a responder con la

evaluación e indicando los instrumentos y fuentes de información a utilizar; enseguida se

presenta la muestra, cuando es el caso. Finalmente, en cada capítulo se describen los

productos a obtener y las principales acciones a realizar.




5

Capítulo 1. D i s e ñ o

Objetivo: Analizar la formulación del Programa en términos de su consistencia interna y

congruencia con los principios y líneas de acción de la Estrategia General de Política Social

en México (CONTIGO) y la Estrategia de Microrregiones.

Procedimiento metodológico

1. Se analizará la congruencia del diseño del Programa con los principios y líneas de

acción de la Estrategia General de Política Social en México (CONTIGO) y la

Estrategia de Microrregiones, así como la congruencia interna entre los objetivos,

lineamientos, componentes y mecanismos de operación del Programa.

2. Con base en lo anterior, se dará contestación a las siguientes preguntas

propuestas por la Dirección General de Evaluación y Monitoreo de los Programas

Sociales (DGEMPS):

� ¿El diseño del Programa cumple con los principios de equidad, transparencia,

corresponsabilidad, cohesión social e integralidad, planteados en la Estrategia

CONTIGO?

� ¿Están previstos en las ROP los mecanismos necesarios y suficientes para

garantizar el cumplimiento de cada uno de estos principios?

� ¿Es congruente el diseño del Programa con los objetivos de la Estrategia de

Microrregiones?

� ¿Hay una definición clara y adecuada de los elementos clave del diseño del

Programa tales como objetivos, población objetivo, tipo y monto de los apoyos

otorgados, criterios de elegibilidad y requisitos, entre otros?

� ¿Existe congruencia entre los distintos elementos del diseño del Programa

según las ROP: objetivos, lineamientos generales y específicos, apoyos

otorgados, operación y seguimiento?

� ¿Las ROP son claras y equitativas para todos los estados? (Pregunta de

cuestionario a Gobiernos estatales)




6

� ¿El diseño del Programa fomenta que los estados lleven a cabo programas

que tengan sinergias con otros programas de la SEDESOL?

Además de dar respuesta analítica a las anteriores preguntas, la RDS se propone hacer:

� Un análisis crítico del marco teórico conceptual del PDIE, a fin de aportar

algunos elementos que enriquezcan dicha conceptualización.

� Responder a la pregunta: ¿El diseño del Programa permite lograr sus

objetivos?

� Un análisis sobre la pertinencia del Programa, entendida como el grado y la

forma en que éste contribuye a lograr los objetivos y metas planteadas en los

documentos de Estrategia General de Política Social en México (CONTIGO) y

la Estrategia de Microrregiones.

El análisis del Diseño se hará mediante una revisión del conjunto de documentos básicos,

lineamientos y reglas de operación, seguida de un análisis de congruencia que examine

cómo y en qué medida el diseño del programa resulta coherente con las estrategias de

planeación y desarrollo gubernamentales.

Fuentes de información:

� Plan Nacional de Desarrollo 2001-2006. Presidencia de la República. 2001.

� Programa Nacional de Desarrollo Social 2001-2006. Secretaría de Desarrollo Social.

2001.

� Estrategia: Contigo. Secretaría de Desarrollo Social, Subsecretaría de Desarrollo

Social y Humano. México 2002.

� Estrategia de Micro Regiones

� Lineamientos Específicos Año 2003 para el ejercicio de los Programas de Desarrollo

Social. SEDESOL

� Reglas de Operación del Programa de Incentivos Estatales.

Producto:

Análisis del diseño del programa, incluyendo el análisis de fortalezas, debilidades y

recomendaciones para superarlas, así como la formulación de conclusiones y




7

recomendaciones que contribuyan al mejoramiento del programa, a su readecuación o a su

conclusión.

Actividades:

� Recopilación y revisión de cuando menos los siguientes documentos:

� Comparación y análisis de congruencia entre las reglas de operación y los

documentos del Programa, con los documentos arriba mencionados.

� Recopilación y revisión bibliográfica sobre programas similares en México y en el

exterior (al menos tres).

� Revisión crítica y comparación de programas similares




8

Capítulo 2. O p e r a c i ó n

Objetivo: Verificar el cumplimiento de las Reglas de Operación (ROP) que regulan las

acciones del Programa y la adecuada operación del mismo.

La evaluación de la operación del programa contempla cuatro aspectos:

a. Verificación y existencia de sistemas de información y seguimiento de

acciones del Programa, y su validación en campo.

b. Análisis de los procesos operativos,

c. Verificación del cumplimiento de metas físicas y financieras

d. Análisis de costos.

a. Verificación y existencia de sistemas de informació n y seguimiento de acciones del

Programa, y su validación en campo. Se tratará de responder a las siguientes

preguntas:

• ¿El Sistema Integral de Información de los Programas Sociales (SIIPSO)

opera en las delegaciones?

• ¿Su operación es confiable?

• ¿En qué grado se utiliza para realizar una buena gestión del Programa?


Se hará:

Síntesis documental: sobre el Sistema Integral de Información de los Programas

Sociales (SIIPSO).

Entrevistas a profundidad a los responsables de los sistemas de información y

seguimiento de Dirección General de Políticas Sociales así como a los responsables

del Sistema Integral de Información de Programas Sociales (SIIPSO, únicamente

para 2004)1.

Encuesta a Delegados Federales de la Sedesol en los Estados. Se constatará el

funcionamiento de los sistemas de información y seguimiento mediante la inclusión

en la encuesta de una serie de preguntas al respecto. 2

1 Véase Anexos. Guión de entrevista a funcionarios en oficinas centrales y encuesta a funcionarios de las Delegaciones Federales de la Sedesol en los Estados. 2 Ibid.Cuestionario para funcionarios de las Delegaciones Federales de la Sedesol modalidades de apoyos a la innovación a través de concurso abierto y corresponsabilidad y rendición de cuentas.




9

Indicadores

� Porcentaje de delegaciones en las que opera el SIIPSO

� Grado en la que se utiliza para mejor la gestión

Fuentes de Información:

� Datos Administrativos del Programa (SIIPSO 2004 y el sistema de

seguimiento de la Dirección General de Políticas Sociales).

� Entrevistas a operadores de SEDESOL a nivel central.

� Encuestas a operadores de SEDESOL a nivel estatal.

b. Análisis de los procesos operativos .

La evaluación de los procesos operativos comprende tres aspectos:

b.1. Operación de las modalidades del Programa

b.2. Cumplimiento de Reglas de Operación

b.3. Análisis de las evaluaciones 2003

b.1. Operación de las modalidades del Programa. Teniendo como base el diagrama de

flujo3 se analizarán los dos procesos operativos fundamentales que tiene el programa y que

se refieren a la asignación de recursos para cada una de las dos modalidades:

Corresponsabilidad y Rendición de Cuentas y Apoyos a la Innovación a través de Concurso

Abierto. Se verá si el desarrollo de los procesos es el adecuado, señalando claramente si

existen cuellos de botella operativos. La valoración se hará por separado para cada

modalidad.

Procedimiento Metodológico:

Para efectuar lo anterior se hará:

Revisión documental. Para identificar los principales procesos operativos del Programa y

elaboración de los diagramas de flujo de los mismos.

3 Ibid. Diagramas de flujo de los principales procesos operativos del programa que fueron reelaborados por la RDS, teniendo como fuentes de información las Reglas de Operación del Programa, los Lineamientos Específicos de los Programas de Desarrollo Social para el año 2003 y entrevistas con operadores del Programa a nivel central.




10

Entrevistas a profundidad con los responsables de la operación del Programa en el nivel

central; entre ellos, a los funcionarios de la Dirección General de Política Social (DGPS),

de la General de Medición y Seguimiento de Programas Sociales (DGMSPS), así como a

los responsables del SIIPSO 4

Encuesta a los responsables del Programa en las Delegaciones Federales de la

Sedesol.5

Encuesta a autoridades estatales que presentaron proyectos.6 Para la evaluación de la

operación del Programa.

La pregunta central a responder es: ¿El programa opera según lo establecido en las reglas

de operación?

Indicadores

% de cumplimiento de procesos básicos de la operación: a) promoción, b) difusión, c)

asignación de recursos, d) ejecución de proyectos y e) mecanismos de control y vigilancia.

b.2. Cumplimiento de las Reglas de Operación . Se constatará el cumplimiento de las

ROP mediante la revisión documental de los 143 proyectos de infraestructura en

muestra.

La pregunta a contestar en este aspecto será:

¿El proyecto cumple con los requisitos administrativos y de elegibilidad que marcan las

ROP?7

Indicadores

% de cumplimiento de requisitos administrativos y de elegibilidad.

4 Ibid. Guión de entrevista a funcionarios en oficinas centrales. 5 Ibid. Cuestionario para funcionarios de las delegaciones federales de las Sedesol, en sus dos modalidades. 6 Ibid. Cuestionario para funcionarios de los gobiernos estatales que presentaron proyecto en cualquiera de las dos modalidades. 7 Ibid. Ver Cédula de Monitoreo de Proyectos Sección I y II




11

b.3. Análisis de las evaluaciones 2003. Se complementará la evaluación sobre la

operación mediante la revisión documental de 29 evaluaciones realizadas en 2003. Se

hará un análisis de las evaluaciones de los programas llevadas a cabo en el nivel estatal,

para lo cual se analizará fundamentalmente el tipo de evaluación de que se trata,

objetivos que se proponen, información relevante que presentan sobre el programa, su

utilidad práctica para la mejora en la operación del mismo. Se buscará conocer si está

sistematizada la información de las diversas evaluaciones y si se cuenta con una visión

homogénea para su manejo en todos los estados, etc. Algunas de las preguntas

centrales a las que responderá el análisis de las evaluaciones serán:

� ¿Qué porcentaje de proyectos participantes en el Programa cuenta con una

evaluación, por modalidad y por estado?

� ¿Existen Términos de Referencia estándares para las evaluaciones

estatales?

� ¿Qué tipo de información contienen las evaluaciones? ¿Es útil? ¿Es

relevante? (por ejemplo: información socioeconómica de las localidades y de

los beneficiarios). Aquí se identificarán los principales temas que abordan la

evaluaciones y se sistematizarán en una matriz de información básica que

permita un manejo ágil de los resultados obtenidos del análisis documental.

� ¿Esta información es homogénea en todos los estados?

� ¿Las evaluaciones cuentan con un análisis sobre la operación, focalización,

la efectividad de los proyectos, los resultados, las percepciones de los

beneficiarios?

� ¿Se puede conocer dónde se invirtieron los recursos y si los proyectos se

operaron adecuadamente?

� ¿En qué grado reflejan las evaluaciones estatales la realidad de los

proyectos visitados?

� ¿Se atendió a la población objetivo?

� ¿Existe continuidad y autosostenibilidad de los proyectos?

� ¿Los padrones son claros, identificables, coherentes?

Indicadores

% de proyectos que cuentan con evaluación.




12

Fuentes de Información:

� Datos Administrativos del Programa (SIIPSO 2004 y el sistema de

seguimiento de la Dirección General de Políticas Sociales).

� Documentos base del Programa. ROP y Lineamientos específicos

� Entrevistas a operadores de SEDESOL a nivel central.

� Encuestas a operadores de SEDESOL a nivel estatal.

� Expedientes técnicos de la muestra de 143 proyectos de infraestructura.

� Evaluaciones de los proyectos realizadas en el nivel estatal 2003.

Muestra.

Instrumentos

de recolección

de datos

Informante autorizado Tamaño de

muestra

Con estas

encuestas

se medirán:

Entrevista a

profundidad con

operadores

Servidores públicos de nivel central (Dirección General de

Políticas Sociales de la SEDESOL).

8 entrevistas Operación

Encuesta a

operadores

Servidores públicos de las delegaciones federales de la

Sedesol (subdelegado de desarrollo social y humano).

62 encuestas Operación

Encuesta a

gobiernos

estatales que

hayan

presentado

proyectos en

2003

Se encuestarán a los siguientes miembros del COPLADE y

autoridades estatales: al titular, al representante de la

oficina responsable del desarrollo social en el estado, a un

representante de otra Secretaría estatal o en su caso otra

autoridad estatal que haya presentado más proyectos

aprobados (por ejemplo alguna autoridad municipal).

63 encuestas

a

Funcionarios

Operación,

percepciones

y resultados

Producto:

Análisis sobre los sistemas de información del Programa y sobre sus principales procesos

operativos. Así como análisis de las evaluaciones estatales realizadas sobre el programa.




13

Actividades:

a. Diseño de guión de entrevista a funcionarios en oficinas centrales y realización de

las mismas.

b. Diseño de encuesta a operadores del programa de las Delegaciones Federales de

la Sedesol.

c. Diseño de encuesta a funcionarios de los gobiernos estatales.

d. Realización de prueba piloto de las encuestas.

e. Aplicación, sistematización y análisis de entrevistas y encuestas.

f. Revisión y análisis de las evaluaciones realizadas en los estados.

g. Elaboración de informe.

c. Verificación del cumplimiento de metas físicas y financieras

En este apartado se evaluará el cumplimiento de metas físicas y financieras del programa

en sus diferentes modalidades. Para ello se requiere comparar el desempeño del programa

para los ejercicios de 2003 y 2004 con las metas que se fijaron ex ante. Un problema

metodológico que se enfrenta en este punto, que es producto de una deficiencia en la

manera de operar de los programas, es que con frecuencia las metas no se fijan con

claridad antes de los ejercicios y por tanto la comparación con lo realizado enfrenta

dificultades; otro asunto también de importancia es la definición precisa de las unidades de

medida de las metas, ya que por lo común no existe un sistema estandarizado de metas por

programa y para cada una de las acciones específicas que se llevan a cabo.

Se evaluará el cumplimiento de metas físicas y financieras del Programa, por modalidad a

través de:

a. Revisión documental. Se examinarán los procesos del Programa, con el fin de

verificar el cumplimiento de las metas físicas y financieras a nivel estatal y nacional.

Utilizando información del SIIPSO 2004 y del sistema de seguimiento de la Dirección

General de Políticas Sociales se revisarán y analizarán los informes de avances físico-

financieros y bases de datos del cierre de ejercicios 2003 y 2004. Para ello, se requerirá

investigar los recursos empleados por tipo de apoyo contra los recursos programados.

Siendo éste último el indicador pertinente del tema.




14

b. Entrevistas a informantes clave como son los responsables del SIIPSO, de la

Dirección General de Política Social y de la Dirección General de Medición y Seguimiento de

Programas de Desarrollo Social.

c. Monitoreo de las obras de infraestructura a través de la realización de un censo de

los 143 proyectos realizados en 2003. Con lo anterior se podrá verificar la consistencia entre

los registros del sistema y la evidencia en campo del avance físico de todos los proyectos de

infraestructura correspondientes al 2003.

Producto:

Análisis de cumplimiento de metas físicas y financieras del Programa.

Actividades:

a. Recopilación y análisis, de informes de avances físico-financieros y bases de datos

del cierre del ejercicio 2003 y 2004 y su discusión respectiva.

b. Aplicación del censo de proyectos de infraestructura, sistematización y análisis del

mismo.

c. Redacción del apartado correspondiente.

Preguntas a responder

Las preguntas que se busca responder en este tema son las siguientes:

1. ¿Cuáles fueron las metas que se fijó el programa para ambos ejercicios?

2. ¿Las formas en las que se fijaron las metas son adecuadas y suficientes para hacer

una evaluación ex post?

3. ¿Cuáles son las etapas y los diferentes momentos de fijación de metas en el curso

de la operación del programa?

4. ¿Cuáles fueron las metas logradas por el programa en los dos ejercicios?

5. ¿Son consistentes y adecuadas las formas en las que se reportan las metas

realizadas?

6. ¿Cuál fue el grado de cumplimiento de metas?

7. ¿Cuáles fueron las razones por las que no se cumplieron (en su caso)?




15

Indicadores

Los indicadores que se usarán dependen de la naturaleza de las metas. Para el caso de las

metas financieras el asunto es un tanto más sencillo ya que el indicador fundamental es el

monto de recursos ejercidos, el cual se puede distinguir en monto total, y el monto por sus

diferentes fuentes, es decir, federal, estatal, municipal, beneficiarios y crédito.

En el caso de las metas físicas el asunto se complica ya que el programa lleva a cabo obras

y acciones de naturaleza muy heterogénea, por lo que es difícil encontrar indicadores que

puedan ser usados de manera generalizada. Uno de ellos es el número de beneficiarios,

que será un indicador utilizado para el análisis. Aquí, sin embargo, existe también cierta

imprecisión, ya que resuelta diferente la valoración de los beneficiarios de obras y proyectos

dirigidos específicamente a personas o grupos de personas, que los beneficiarios de obras

de infraestructura generalizada (pavimentaciones, alumbrados públicos, caminos, etc.) en

donde los beneficiarios son más genéricos ya que abarcan a la población total que utiliza el

servicio. Sin embargo, el indicador resulta útil con esa salvedad. Se puede distinguir por

género, en hombres y mujeres.

Un indicador de metas físicas que se utiliza con frecuencia es número de proyectos

realizados que también puede ser generalizado, aunque en realidad es muy engañoso, ya

que no considera el asunto del tamaño y características cualitativas de los proyectos. Así,

que se hagan muchos proyectos no quiere decir necesariamente que se logren muchas

metas, ya que puede darse el caso de que se lleven a cabo un número grande de proyectos

de tamaño pequeño, que pueden tener un menor desempeño que pocos proyecto de gran

tamaño. Se usará de todas maneras este indicador con las reservas del caso.

Para el análisis de metas específicas logradas se intentará llevar a cabo un proceso de

agrupación de los diferentes acciones y proyectos para tratar de definir indicadores

específicos por grupos de proyectos, aunque este proceso enfrenta dificultades mayores

derivadas de la inexistencia por parte de la Secretaría de un sistema homogéneo y

estandarizado de metas y tipos de obras y proyectos; con frecuencia un mismo tipo de

proyecto recibe nombres diferentes en estados diversos, y aun en una misma delegación

existen diferentes formas de medir metas para los mismos tipos de proyectos (por ejemplo,

a veces se usa el indicador sistema para medir los logros en el tema de agua potable, y a

veces metros lineales de tubería, por dar un ejemplo). Por ello, se hará un análisis de la

consistencia de las formas de definición de esos indicadores y se generarán las

recomendaciones conducentes.




16

En el caso específico de las acciones que hayan implicado construcción de obra civil, se

utilizará el indicador metros cuadrados de construcción.

Fuentes de información

Las fuentes de información que se utilizarán serán las siguientes:

1. Documentos en donde se hayan establecido las metas de los ejercicios.

2. Bases de datos de cierre de ejercicio y de avance de ejercicio.

3. Entrevistas a informantes clave.

4. Visitas de campo a las obras civiles.

Instrumentos

Los instrumentos serán dos: los guiones de entrevista a funcionarios responsables del

programa, en los que se incluirá un punto relativo a las formas de establecimiento de metas

ex ante y las cédulas de visita a las obras civiles, las cuales se presentan en los Anexos.

d. Análisis de costos.

La estimación y valoración del costo beneficio del programa se hará por medio de un

análisis detallado de los recursos que son empleados para su operación (recursos

logísticos) y hacer una comparación de los mismos con los recursos que son destinados a

las actividades sustantivas, es decir a los proyectos y acciones que realmente llegan a los

estados beneficiarios (recursos de inversión) a fin de especificar el porcentaje del

presupuesto ejercido destinado a la operación del Programa, y el costo para la SEDESOL

de hacerle llegar un peso a manos de los estados a través del Programa Incentivos

Estatales. Se espera que la gran mayoría de los recursos del programa consistan en estos

últimos; así, el programa tendrá un mejor desempeño en costo efectividad en la medida en

la que sus costos operativos sean menores en relación con la inversión total.

Por ello se procederá a hacer una cuantificación de cuánto está gastando la institución en su

conjunto para hacer posible la operación del programa, en el conjunto de sus fases y en

todas sus instancias, desde el nivel central, el de las delegaciones y el que corresponde a

las actividades de campo en las regiones; igualmente se hará una estimación de los costos




17

invertidos por otros agentes que participan en la operación del programa, como es el caso

de otras dependencias federales, los gobiernos estatales, los municipales y los beneficiarios.

La estimación del costo administrativo de las actividades que el aparato central realiza se

hará considerando solamente la proporción en la que las unidades administrativas utilizan

del tiempo, recursos y capacidades totales en la operación del programa, ya que algunas

unidades realizan funciones para diversos programas.

Producto:

Análisis de los recursos financieros y logísticos utilizados en la operación del programa y su

comparación y valoración con respecto a la totalidad de los recursos invertidos en las

actividades sustantivas del programa.

Actividades:

a. Elaboración de un esquema general de flujo de la operación del programa (un

mapeo preliminar de procesos) e identificación de las unidades

administrativas que intervienen, el personal ocupado, los recursos usados en

los diferentes conceptos administrativos y el porcentaje en el que lo

atienden. Esta información será proporcionada por la Sedesol, y también se

obtendrá a partir de un conjunto de entrevistas a los diferentes responsables

de la operación del programa así como de la recopilación y revisión de

diversos documentos.

b. Estimación de los costos administrativos del programa. Con la información de entrevistas

y documentos recabada en el punto anterior.

c. Comparación de los costos de operación con los de inversión y su valoración.

d. Redacción del apartado correspondiente.




18

Preguntas que se busca responder:

1 ¿Cuáles son los costos de operación en los que incurren las instituciones en la operación

del programa?

2. ¿Cuál es la proporción de estos costos con relación a las inversiones sustantivas?

Indicadores

El indicador principal de este análisis es el Costo de Operación del programa, el cual se

puede desagregar en Recursos Humanos, Materiales e insumos diversos, Inversiones en

Bienes de Capital. Asimismo, es posible desagregar este indicador en función de los

diferentes participantes en la operación del programa: oficinas centrales de Sedesol,

delegaciones, gobiernos estatales, gobiernos municipales y beneficiarios. El análisis se hará

por lo menos para los costos incurridos por la Sedesol y se buscará complementar en la

medida de lo posible la información acerca del resto.

Capítulo 3. Focalización y Cobertura

Objetivo: Determinar en qué medida, las acciones del Programa se enfocan a mejorar el

bienestar de la población en situación de pobreza.

Procedimiento metodológico:

Con base en revisión documental se hará un análisis comparativo de cobertura y

focalización de los años 2003 y 2004, por tipo de apoyo otorgado en el ámbito nacional, por

entidad federativa y por localidad así como a nivel urbano y rural.

Focalización

Utilizando el índice de marginación del Consejo Nacional de Población (CONAPO) a nivel

municipal y de localidades, y la asignación de la inversión del Programa, se determinará en

qué medida los recursos y las acciones del Programa se han dirigido a las zonas más

marginadas del país, comparando las cifras del 2003 al 2004 . El análisis se desagregará

por vertiente o por tipo de apoyo.




19

El análisis anterior se realizará también a nivel de localidad en los casos pertinentes.

Utilizando datos a nivel de localidad –inversión, número de acciones, proyecciones de

población 2004 e índice de marginación-, y se comparará la focalización del programa

durante el período 2003-2004.

Cobertura

En términos de cobertura se dará cuenta del número de estados, municipios y localidades

atendidas con acciones del programa. Adicionalmente se considerará el índice de

focalización donde se identificarán errores de inclusión y exclusión del Programa,

considerando el criterio de que la población objetivo es la que se encuentra en pobreza y

esta es la que habita en localidades o colonias marginadas. Así, se asumirá que los errores

de inclusión serán aquellos que se incurren cuando se atiende a población que no se

encuentra en localidades o colonias marginadas y la exclusión es la diferencia entre el total

de beneficiarios de zonas marginadas y la población nacional que habita en esas zonas.

Esos datos serán analizados en un marco de carácter cualitativo que considere el carácter y

alcances del programa.

La evaluación reportará el número de localidades beneficiadas con proyectos de

infraestructura que se llevaron a cabo en el ejercicio 2004. Se analizará su variación con

respecto al año anterior por tipo de modalidad, a nivel nacional y por entidad federativa.

Cuando sea posible, se determinará si existe un padrón para cada proyecto, que no sea de

infraestructura, que permita identificar a las localidades y/o los beneficiarios directos.

Producto:

Análisis sobre cobertura y focalización del Programa 2004 y su variación respecto a la

obtenida en el año anterior

Actividades:

a. Recopilación y análisis estadístico y cualitativo de las bases de datos del cierre 2003

y 2004 del Programa de Incentivos Estatales, para determinar indicadores de

focalización.

b. Análisis de la información generada y discusión de la misma.

c. Redacción del apartado correspondiente.




20

Preguntas a responder

1. ¿En que medida las acciones del programa se destinan a la población que habita

localidades o colonias marginadas (población en pobreza)?

2. ¿En cuántos estados, municipios y localidades se realizaron acciones del programa?

Indicadores

En primer lugar el indicador de cobertura será el número de estados, municipios y

localidades en las que se realizaron obras del programa.

En segundo lugar se usarán los indicadores: número de proyectos, monto de inversión y

número de beneficiarios atendidos en estados, municipios, localidades, según su grado de

marginación. Es importante mencionar que en el caso de localidades urbanas grandes el

indicador presenta problemas, ya que el concepto “localidad” no es suficiente para describir

el grado de marginación de la población, ya que en estas localidades se presenta en general

un bajo índice de marginación, que muchas veces no describe la situación de las

poblaciones empobrecidas en el interior de ciudades grandes. Por ello se buscará bajar el

análisis a nivel de colonia o barrio, pero eso dependerá de que se pueda contar con la

información que la Sedesol ha generado para ese nivel.

Fuentes de información:

� Bases de datos de cierre y avance de ejercicio.

� Índices de marginación por estado, municipio y localidad. (CONAPO)

� Colonias y barrios en pobreza (Sedesol)




21

Capítulo 4. Resultados (Beneficios Económicos y Sociales)

Objetivo: Medir los resultados del Programa en relación con los cambios o acciones que

estén llevando a cabo los estados en materia de política social.

La evaluación de resultados se enfocará en los estados que son beneficiarios del Programa,

para generar un análisis comparativo 2003-2004 que permita la construcción de una línea

basal en torno a los resultados esperados.


Se hará de dos maneras, atendiendo a los objetivos particulares del programa, mediante:

a) Encuesta a funcionarios de los gobiernos estatales.8

b) Entrevistas a profundidad a informantes calificados en el estado. De manera

complementaria se ahondará en los principales temas de la encuesta, sobre todo

con el propósito de documentar los procesos más importantes en la operación y de

ejemplificar los beneficios e impactos.

Muestra

Instrumentos

de

recolección

de datos


muestra

Con estas

encuestas

se medirán:

Encuesta a

gobiernos

estatales que

hayan

presentado

proyectos en

2003

Se encuestarán a los siguientes miembros del

COPLADE y autoridades estatales: al titular, al

representante de la oficina responsable del desarrollo

social en el estado, a un representante de otra

Secretaría estatal o en su caso otra autoridad estatal

que haya presentado más proyectos aprobados (por

ejemplo alguna autoridad municipal).

63

encuestas a

Funcionarios

Operación,

percepciones

y resultados

8 Ver apartado 6.2.1. Evaluación de Procesos en este mismo documento.




22

Producto:

Análisis de resultados: beneficios económicos y sociales.

Actividades:

a. Diseño de encuesta

b. Aplicación de la prueba piloto

c. Aplicación de la encuesta, sistematización y análisis estadístico de la misma

d. Entrevistas a profundidad a funcionarios estatales

e. Revisión y análisis documental y estadístico

f. Elaboración de reporte sobre resultados

Preguntas a responder:

¿El programa contribuye a reducir la pobreza en los estados?

¿Qué porcentaje de recursos destina el estado a gasto social?

¿El programa incentiva a los gobiernos estatales a: a) la innovación, b) invertir en

gasto social, d) a una mayor corresponsabilidad, e) a una mayor coinversión, f) a la

coordinación interinstitucional, g) sinergias y mayores impactos en la atención a la

pobreza.

Indicadores

� Monto estatal para gasto social/ monto total del gasto de la entidad

� % de respuestas positivas a las preguntas anteriores.

� Proporción de la inversión federal/inversión estatal en programas sociales

� Proporción del gasto estatal destinado a: educación, atención a la salud y

reducción de la pobreza.




23

Capítulo 5. Percepciones de los beneficiarios

Objetivo: Conocer las percepciones de los estados beneficiarios sobre la operación y los

resultados del Programa.

Procedimiento metodológico: Este objetivo se abordará de dos formas: a. A través de una encuesta se medirá la percepción de las autoridades estatales, que presentaron y que no presentaron proyectos en 2003 en las dos modalidades.9 Las principales preguntas que se buscará responder serán:

� ¿Cuál es la percepción que tienen sobre el Programa de Incentivos Estatales los estados participantes y no participantes en el mismo en 2004?

� ¿Cómo valoran los criterios y procedimientos con los que opera el Programa?

� ¿Qué valoración general hacen sobre el Programa?

b. Por medio de revisión documental se indagará sobre el porcentaje de estados que

recibieron apoyos del Programa respecto al número de aquellos que lo solicitaron con base

a la información de Cierre de Ejercicio 2004.

Porcentaje de estados

que recibieron apoyos

del programa respecto a

aquellos que lo

demandaron

Estados que recibieron apoyo

Estado que solicitaron apoyo

Estados que recibieron apoyo

Número total de estados

Fuente de datos:

� Encuestas a autoridades estatales que presentaron proyectos.

� Encuestas a integrantes de Coplades que no presentaron proyectos (en cada

modalidad).

9 Ver apartado 6.2.1. Evaluación de Procesos en este mismo documento.




24

Muestra:

Instrumentos

de recolección

de datos


muestra

Con estas

encuestas se

medirán:

Encuesta a

gobiernos

estatales que

hayan

presentado

proyectos en

2003

Se encuestarán a los siguientes miembros del

COPLADE y autoridades estatales: al titular, al

representante de la oficina responsable del

desarrollo social en el estado, a un

representante de otra Secretaría estatal o en

su caso otra autoridad estatal que haya

presentado más proyectos aprobados (por

ejemplo alguna autoridad municipal).

63 encuestas

a

Funcionarios

Operación,

percepciones y

resultados

Encuestas con

los gobiernos

estatales que no

presentaron

proyectos en

2003 (10

estados)

Encuesta al titular o al secretario técnico del

Coplade.

10 encuestas Percepciones

Producto: Análisis de la percepción, satisfacción y valoración sobre el programa que hacen y tienen los

gobiernos estatales que presentaron y no presentaron proyectos en 2003 en sus dos

modalidades.

Actividades:

� Recopilación, revisión documental y aplicación de indicadores para medir el grado de

satisfacción de los estados a los apoyos del Programa.

� Aplicación de encuestas a funcionarios estatales y análisis estadístico de la misma

para determinar la percepción, el grado de satisfacción y valoraciones sobre el

programa que hacen los estados que presentaron y no presentaron proyectos en

200310

� Redacción del apartado correspondiente.

10 Ibidem.




25

Capítulo 6. Planes de Trabajo y Estructura de Informe Final

En el presente capítulo se abordan cuatro aspectos:

a. Plan para la prueba piloto

b. Plan de trabajo de campo

c. Plan para el análisis de la información

d. Propuesta de estructura del informe final

a. Plan para la prueba piloto

La realización de una prueba piloto cumple varios propósitos dentro del proceso de la

evaluación del programa Incentivos Estatales:

a) Permite valorar la confiabilidad y funcionalidad de los diversos instrumentos de

recolección de datos: encuestas, entrevistas a informantes clave y cédulas de

monitoreo de proyectos y hacerles los ajustes pertinentes para cumplir

adecuadamente con los objetivos de la evaluación, antes de su aplicación extensiva

a la muestra definitiva.

b) Pone a prueba la logística necesaria para cumplir en tiempo, forma y costos el

levantamiento de la información requerida, y

c) Permite correr y ajustar las rutinas y salidas del procesamiento de la información

levantada de modo tal que arrojen resultados confiables y significativos para la

evaluación.

Los datos generales de referencia que se toman en cuenta para definir el tamaño y

localización de la prueba piloto son los siguientes:




26

• Operación del programa en 2003 y 2004, a través de dos modalidades:

Corresponsabilidad e Innovación.

• Participación de 20 entidades federativas en 2003 y 12 en 2004.

• Los tipos de proyecto más apoyados por el programa son los de infraestructura y los

sociales, y en mucho menor medida los productivos.

• La no participación aun de algunas entidades en el programa o que bien lo han

intentado y no han logrado el apoyo.

Tomando en cuenta la información anterior y considerando limitaciones de tiempo, logística

y costos, se propone llevar a cabo la prueba piloto en un conjunto de entidades en las que

se pueda apreciar el desempeño tenido en las dos modalidades del programa, de

preferencia en ambos años y que a la vez tengan proyectos de infraestructura, sociales y

productivos en 2003. Asimismo, en entidades que no hayan intentado o no hayan logrado

recibir el apoyo del programa.

De tal modo, la propuesta de prueba piloto considera trabajar en los siguientes 7 estados:

Estados participantes en el programa en 2003 y 2004: Aguascalientes, Guerrero, Morelos y

México.

Entidades que no han participado o no han recibido el apoyo en ningún año: Nuevo León,

Oaxaca, Veracruz.




27

Proyectos propuestos a monitorear en la prueba piloto

Entidad Mpio./Localidad 2003/Modalidad Proyecto Tipo de

proyecto

Aguascalientes Aguascalientes

Juan Escutia #

311 Col. Héroes

Corresponsabilidad Centro de

Desarrollo Indígena

Social

Aguascalientes Aguascalientes Corresponsabilidad Suministro e

instalación de

cisternas

Social

Aguascalientes Aguascalientes Innovación TV a mayores Social

Guerrero Chilpancingo Innovación Pensión

Guerrero, atención a

adultos mayores

Infraestructura

Guerrero Chilpancingo Corresponsabilidad Encauzamiento

del Río Huacapa

tramo Tecnológico-

Reclusorio

Infraestructura

Morelos Jojutla Corresponsabilidad Rehabilitación del

Puente Fundición

Infraestructura

Morelos Jojutla Encasquillamiento

de canal del riego El

Jicarero

Productivo

Morelos Huitzilac Innovación Equipamiento de

planta potabilizadora

Infraestructura

México Tejupilco Innovación Construcción de

Centro de Desarrollo

Comunitario y

Familiar

Infraestructura

Requerimientos de apoyo de la UARP y de la Dirección de Evaluación:

a) Retroalimentación para afinar instrumentos de levantamiento de información.




28

b) Proporcionar directorio y gestionar colaboración de los funcionarios estatales de

Sedesol, del gobierno estatal, de Coplade, de los operadores de los servicios u

obras y de los representantes de beneficiarios.

Calendario de actividades:

• Ajuste a instrumentos, elaboración de manual de encuestas y preparación de

logística para prueba piloto: 22 de octubre a 2 de noviembre.

• Realización de la prueba piloto: 3-21 de noviembre.

• Procesamiento de información, ajustes a instrumentos y redacción de

informe: 22-29 de noviembre.

• Entrega del Informe de la Prueba Piloto: 30 de noviembre. Incluye un

resumen de los resultados alcanzados, versiones finales de los cuestionarios

y sus manuales correspondientes, con descripciones de todas las

modificaciones realizadas.

Cronograma de actividades prueba piloto

b. Plan de trabajo de campo

El trabajo para recolectar información de campo se llevará a cabo a través de tres

instrumentos que conllevan un conjunto de actividades, no necesariamente sincrónicas. A

continuación analizaremos cada tipo de instrumento, señalando los responsables de su

Año 2004 Acción / mes Oct Nov

Ajuste a instrumentos, elaboración de manual de encuestas y preparación de logística

Realización de la prueba piloto Procesamiento de información, ajustes a instrumentos y redacción de informe IV. Entrega del Informe de la Prueba Piloto (30 nov iembre de 2004)




29

aplicación y las principales actividades involucradas. El método para procesar la información

colectada se aborda en el apartado correspondiente.

a) Entrevistas a profundidad con operadores del programa: se llevarán a cabo directamente

por el conjunto de investigadores-evaluadores del equipo consultor. Si bien se considera

realizar 8 entrevistas a los operadores a nivel central tanto del programa como de los

responsables de los sistemas de información y seguimiento, también se contempla llevar a

cabo, en los casos que sea necesario, entrevistas en los estados con operadores,

ejecutores y beneficiarios que permitan complementar y profundizar la información derivada

de la encuesta.

b) Encuestas: serán aplicadas directamente por cinco de los investigadores-evaluadores del

equipo consultor, durante los meses de diciembre y enero (ver cronograma). Un total de 135

encuestas se aplicarán a:

• Operadores del programa en las delegaciones de Sedesol: una encuesta por

modalidad del programa, para dar un total de 62 encuestas.

• A los funcionarios responsables de las 21 entidades que presentaron

proyectos en 2003: titular del Coplade, Secretaría a cargo del Desarrollo

Social y otra secretaría o municipio ejecutor del proyecto, para dar un total de

63 encuestas.

• Al titular del Coplade o al secretario técnico en las 10 entidades que no

presentaron proyectos en 2003, para dar un total de 10 encuestas.

c) Monitoreo de obras: se aplicarán 143 cédulas de monitoreo de obras en 10 entidades

del país (ver cuadro anexo), durante los meses de diciembre de 2004 y enero de

2005 (ver cronograma).

Partiendo del conocimiento de la base de datos de los proyectos realizados en 2003,

en 6 de los 10 estados en que se concentra un número bajo de proyectos en pocos




30

municipios y localidades, el levantamiento de la cédula de monitoreo la hará también

el investigador-evaluador que lleve a cabo la aplicación de la encuesta. Para 4 de los

10 estados en donde se concentra el mayor número de proyectos, en número

también alto de municipios y localidades, se reclutará a profesionistas o pasantes

que tengan el perfil y la experiencia que les permita monitorear adecuadamente el

tipo de proyectos predominantes en esas entidades. Asimismo, Se llevará a cabo un

proceso de capacitación del personal que va a levantar la información para afinar y

homogeneizar el conocimiento y las habilidades necesarias para llevar a cabo

adecuadamente su actividad; se le proporcionará un instructivo para apoyar su

trabajo en campo.

Distribución de obras 2003 a monitorear por entidad

Estado No. de proyectos 2003

No. de Mpios. No. de localidades

Aguascalientes* 10 4 4 Baja California 40 5 5 Durango* 2 2 2 Guanajuato* 3 3 3 Guerrero* 1 1 1 Jalisco 38 10 10 México* 5 5 5 Morelos 32 18 30 Nayarit* 2 2 2 San Luis Potosí 10 7 8 * Cédulas de monitoreo que serán también aplicadas por los investigadores-evaluadores.

Cronograma de actividades de campo

Año 2004 2005 Acción / mes Oct Nov Dic Ene Feb Mar

Integración y capacitación de monitores de obras o proyectos Revisión de expedientes técnicos de proyectos Aplicación y captura de cédulas de monitoreo de obras Procesamiento información cédulas monitoreo obras Aplicación y captura de las encuestas Entrevistas a funcionarios y operadores Procesamiento de la información IV. Reporte de la evaluación de operaciones e infor me sobre trabajo de campo (15 de febrero de 2005)




31

c. Plan para el análisis de la información

En este apartado se detalla de manera general la forma como se sistematizará la

información cuantitativa que se origina en la aplicación de encuestas a funcionarios y

monitoreo de las obras de infraestructura 2003. Se desarrolla también de manera general la

forma en que se procesará la información cualitativa que tiene como fuentes primordiales, la

revisión bibliográfica y documental así como la revisión de las evaluaciones realizadas para

cada una de las proyectos u obras apoyadas por el Programa; las entrevistas a profundidad

realizadas con operadores y funcionarios del programa a nivel central y las realizada en los

estados con informantes locales.

Análisis de la información cuantitativa

1. Programa de captura de la información

Una vez que se cuente con los cuestionarios definitivos para las encuestas y la cédula de

monitoreo de obras, se diseñará un programa de captura en Visual Basic 6.0 teniendo como

base de datos Access 2000. Se generará una base de datos para cada una de las

encuestas y otra para las cédulas de monitoreo de obras.

En todos los casos, el valor de las respuestas Sí será codificado como 1, el valor de No será

2 y el valor de no respondió será 9.

Para las preguntas en donde se pueda seleccionar más de una opción, se generará un

campo por cada opción donde el nombre del campo se compone del prefijo “Preg”, el

número de pregunta, un guión bajo y un número consecutivo (Ej. Preg18_1).

En todos los casos, la longitud máxima de cada caja de texto de captura se condicionará a

la longitud que tiene el campo en la base de datos.

En la preguntas donde se puede seleccionar una sola opción, se generará solamente un

campo.




32

2. Distribución del programa.

Tanto a los investigadores-encuestadores como a los monitores de obras se les entregará

un CD con el programa desarrollado, un instructivo para su instalación en una PC o laptop y

un manual para la captura de la información, para que sean ellos los que lleven a cabo dicho

proceso, lo que reducirá grandemente errores de transcripción al pasar la información a

forma magnética.

Los requisitos mínimos para instalar el programa son:

Sistema operativo: Windows 98

Memoria RAM: 24 Mb

Espacio en disco duro: 10 Mb

3. Captura de la información.

Las principales Instrucciones para el llenado del cuestionario en la PC o laptop son las

siguientes:

� Todos los campos están limitados, es decir, sólo podrán capturarse el número de

caracteres que permita el campo. Si la información no cabe (en el campo) ésta debe

resumirse para su captura.

� En los campos donde se pide una sola opción, sólo se permite seleccionar una de

ellas, si hubo algún error en la captura, es posible modificar cualquier campo.

� En los campos de opción múltiple, es posible seleccionar más de una opción.

� En los campos donde se debe capturar información numérica, sólo es posible

capturar este tipo de datos, es decir, el programa no permite capturar algún otro

carácter que no sea un dígito.

� Para cambiarse de un campo a otro, puede hacerlo con la tecla de tabulación (tab) o

dando un clic con el ratón en el campo que desea capturar.

� Para cambiarse de una hoja a otra, puede hacerlo con el ratón dando un clic sobre el

nombre de la hoja o dando un clic sobre los botones siguiente o anterior.




33

� Siempre que haga una modificación o agregado, al terminar de capturar el

cuestionario, no olvide guardar la información dando un clic en el botón guardar.

� Para agregar un nuevo registro debe dar un clic en el botón agregar.

4. Proceso para reunir la información.

Se recibirán las bases de datos por correo electrónico y los paquetes de encuestas o

cédulas por paquetería o personalmente. Se llevará a cabo una revisión final de estas

bases, cotejando la información contenida en ellas con la información que se recogió en

campo.

Para reunir las bases de datos enviadas por los encuestadores-investigadores o monitores

de obra, se generará una rutina en el lenguaje Visual Basic 6.0. Esta rutina agrega los

campos de cada tabla de la base de datos a las tablas de una base inicial en blanco, este

paso se repite con cada una de las bases de los estados.

5. Proceso estadístico de la información.

La información reunida en las dos bases de datos (la de las encuestas y la de las cédulas de

obra) se exportará tanto a hojas de cálculo de Excel como al formato SPSS Ver. 11 y se

procederá a su análisis estadístico mediante este último programa En un primer momento

se harán tablas de frecuencias para todas las variables de las encuestas y a partir de ellas

se diseñarán procedimientos específicos para atender las preguntas, hipótesis y objetivos

planteados para la evaluación.

Una vez obtenidos todos los estadísticos, se exportarán los resultados de cada etapa a

archivos HTML, y estos últimos se exportarán a su vez a formato WORD XP para la

reedición final y presentación de los resultados.




34

Sistematización de la información cualitativa

La sistematización de la información cualitativa se propone sistematizar de la siguiente

forma:

� La información derivada de la revisión documental de los documentos Normativos

del Programa y bibliográfica se hará a través de fichas de trabajo organizadas por

tema y subtema para posteriormente proceder el hacer el análisis.

� La información producto de las entrevistas a profundidad con informantes clave se

hará a través e fichas temáticas.11 Organizadas igualmente por tema y subtema.

� La información obtenida de los informes de evaluación se vaciará en una matriz de

datos básicos que facilite la lectura el manejo de datos y el análisis. La estructura

de contenido final de la matriz se hará luego de contar con el resultado de las 29

evaluaciones sin embargo inicialmente se pueden considerar los siguientes grupos

de datos:

Estado

Nombre del Proyecto

Modalidad del Proyecto

Informe de Evaluación si /no

Aspectos que aborda:

Principales resultados: realización del proyecto u obra,

operación, beneficios económicos y percepciones y

valoraciones generales

Observaciones

11 Ver apartado de anexos. Ficha técnica para entrevista




35

d. Propuesta de estructura del informe final

Se propone la siguiente estructura para el informe final

Resumen Ejecutivo Presentación Abreviaturas Introducción El Programa de Incentivos Estatales Resultados Diseño Operación Focalización y Cobertura Resultados (beneficios económicos y sociales) Percepción de los beneficiarios Conclusiones Fortalezas Retos y recomendaciones Literatura consultada Anexos

a. Anexo metodológico

b. Anexo estadístico

c. Anexo fotográfico

d. Anexos estatales




36

Anexos. Instrumentos para recopilar la información.

GUIÓN DE ENTREVISTA A FUNCIONARIOS EN OFICINAS CENTRALES

a. CUESTIONARIO PARA FUNCIONARIOS DE LAS DELEGACIONES FEDERALES DE LA SEDESOL MODALIDADES DE APOYOS A LA INNOVACIÓN A TRAVÉS DE CONCURSO ABIERTO Y CORRESPONSABILIDAD Y RENDICIÓN DE CUENTAS

b. CUESTIONARIO PARA FUNCIONARIOS DE LOS GOBIERNOS

ESTATALES QUE PRESENTARON PROYECTO MODALIDAD APOYOS PARA LA INNOVACIÓN A TRAVÉS DE CONCURSO

c. CUESTIONARIO PARA FUNCIONARIOS DE LOS GOBIERNOS

ESTATALES QUE PRESENTARON PROYECTOS MODALIDAD CORRESPONSABILIDAD Y RENDICIÓN DE CUENTAS

d. CUESTIONARIO PARA FUNCIONARIOS DE LOS GOBIERNOS ESTATALES QUE NO PRESENTARON PROYECTO MODALIDAD APOYOS PARA LA INNOVACIÓN A TRAVÉS DE CONCURSO ABIERTO

e. CUESTIONARIO PARA FUNCIONARIOS DE LOS GOBIERNOS

ESTATALES QUE NO PRESENTARON PROYECTO MODALIDAD CORRESPONSABILIDAD Y RENDICIÓN DE CUENTAS

f. CÉDULA PARA EL MONITOREO DE OBRAS DE INFRAESTRUCTURA

g. FICHA TÉCNICA_CLAVES_IE

evaluación externa programa de incentivos estatales...incentivos estatales. se trata de un informe...

Documents