cuadernos detrabajo - banco de desarrollo del … · figura 1 resumen de la canasta inicial ... con...

32
cuadernos trabajo de N.º 1 Octubre 2014 Estudio de evaluación de resultados del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

Upload: hoanglien

Post on 22-Sep-2018

217 views

Category:

Documents


0 download

TRANSCRIPT

cuadernos trabajode

N.º 1 Octubre 2014

Estudio de evaluaciónde resultados

del Programa de SaneamientoAmbiental para el DesarrolloComunitario, PROMADEC I

Estudio de evaluaciónde resultados

del Programa de SaneamientoAmbiental para el DesarrolloComunitario, PROMADEC I

cuadernos trabajode

N.º 1 Octubre 2014

Autoridades del Banco del Estado

Verónica GallardoGerente General

Gonzalo NuñezSubgerente General de Negocios

Hugo MuñozSubgerente de Gestión Institucional

María Daniela AraujoGerente de Planificación

Autores:David BastidasSebastian Zambrano

Revisión:María Daniela AraujoFelipe LemarieDirector de Políticas Públicas y Análisis

Corrección de textos:Nicolás Jara Miranda

Diseño, diagramación: Diego Corrales D.

Fotografía:Gonzalo Rivas

Banco del EstadoAv. Atahualpa Oe1-109 y 10 de AgostoTel. (593 - 2) 2 999 600/2 260 723Quito, Ecuadorwww.bancoestado.com

Cuaderno de trabajo: Nº 1Primera edición, octubre 2014

5

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

1 INTRODUCCIÓN 6

2 EL PROGRAMA DE SANEAMIENTO AMBIENTAL PARA EL DESARROLLO COMUNITARIO (PROMADEC) 7

2.1 ANTECEDENTES 7 2.2 OBJETIVOS 8 2.3 COMPONENTES DEL PROGRAMA 8 2.3.1 Preinversión 8 2.3.2 Inversión 8 2.3.3 Fortalecimiento institucional, asistencia técnica y capacitación 9 2.3.4 Desarrollo institucional tecnológico 9 2.4 CRITERIOS DE ELEGIBILIDAD Y CANASTAS DE PROYECTOS 10 2.4.1 Los proyecto del Ministerio de Desarrollo Urbano y Vivienda 10 2.4.2 Los proyectos del Banco del Estado 11 2.5 DETERMINACIÓN DE SUBSIDIOS Y ESQUEMA DE FINANCIAMIENTO 13 2.5.1 Cálculo de subsidios 13 2.5.2 Esquemadefinanciamientodelapropuesta 13

3 MARCO CONCEPTUAL 14 3.1 EVALUACIÓN EX POST 14 3.2 CRITERIOS DE EVALUACIÓN 14 3.2.1 Pertinencia 14 3.2.2 Eficacia 14 3.2.3 Eficiencia 15 3.2.4 Impacto 15

4 LA INVERSIÓN EN PROGRAMAS DE SANEAMIENTO AMBIENTAL 16

4.1 CONTEXTO GENERAL 16

4.2 LA INVERSIÓN DEL BANCO DEL ESTADO 18

5 DIAGNÓSTICO Y EVALUACIÓN DE RESULTADOS DEL PROGRAMA PROMADEC 1 20

5.1 EVALUACIÓN DE PERTINENCIA 20

5.2 EVALUACIÓN DE EFICACIA 21 5.3 EVALUACIÓN DE EFICIENCIA 23 5.4 EVALUACIÓN DE IMPACTO 24

6 CONCLUSIONES 28

7 ANEXO 29 Metodología 29

8 BIBLIOGRAFÍA 30

CONTENIDO

6

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

Históricamente, el Ecuador ha presentado una serie de desafíos relacionados con el cierre de brechas en la dotación de servicios básicos fundamentales para el

desarrollo, como aquellos asociados con la provisión de agua potable, alcantarillado y gestión de desechos sólidos. En respuesta a esta problemática, y con el objetivo de impulsar soluciones integrales, en julio de 2002 se estableció una Política Nacional de Agua y Saneamiento orientada a articular los esfuerzos de diferentes sectores, para mejorar las condiciones de vida, a través de la adecuada y eficiente prestación de estos servicios. Sus objetivos específicos son: i) incrementar la cobertura hasta alcanzar la universalización de estos servicios, ii) garantizar la instauración e institucionalización de mecanismos de control social sobre la prestación de estos servicios, iii) promover estructuras administrativas flexibles y autosuficientes, y iv) fomentar programas de calidad y productividad en la gestión y provisión de estos servicios [1].

En este contexto, el señor presidente constitucional de la república, economista Rafael Correa, en su Plan de Gobierno, reafirma la importancia de estas necesidades, contemplando una ampliación exponencial de la cobertura de los servicios de agua potable, alcantarillado y obras complementarias, con un énfasis que privilegie a la población más vulnerable [2]. Para lograrlo, se concibe el PROGRAMA DE SANEAMIENTO AMBIENTAL PARA EL DESARROLLO COMUNITARIO (PROMADEC), que se propone optimizar los servicios de saneamiento ambiental, a través de la gestión de los Gobiernos Autónomos Descentralizados (GAD).

Bajo estas consideraciones, el presente documento constituye una primera aproximación para evaluar los resultados observados para la primera etapa del Programa (denominada PROMADEC1), desde que se implementó, en 2007, hasta 2012. En una primera sección se describen los principales aspectos del Programa, mientras que en una segunda sección se define el marco conceptual a través del que se realizará la evaluación de sus resultados. Posteriormente, se aplican las metodologías prescritas por el marco conceptual para evaluar los logros alcanzados por el Programa hasta el momento. Por último, se presentan las principales conclusiones que se desprenden de los contenidos del estudio.

1 INTRODUCCIÓN

7

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

EL PROGRAMA DE SANEAMIENTO AMBIENTALPARA EL DESARROLLO COMUNITARIO (PROMADEC)

ANTECEDENTES

Desde su inicio, el Programa se concibe partiendo de una implementación que se produciría por etapas. La primera etapa involucró preferentemente a aquellos GAD que contaran con proyectos a nivel de diseños definitivos [3]. En las etapas subsiguientes, se incorporó a los que requerirían ejecutar estudios de preinversión y fortalecimiento institucional, además de apuntalar a aquellos considerados como proyectos especiales, tres iniciativas que, a pesar de encontrarse por fuera de los criterios de elegibilidad del Programa, fueron priorizadas por su importancia estratégica. Se las enumerará más adelante.

El Programa parte con un volumen de fondos que asciende a 240 millones de dólares. Cerca de 200 millones de dólares se cristalizan por medio de un préstamo otorgado por la Corporación Andina de Fomento (CAF), mientras que el resto (40 millones de dólares) se cubre con aporte local. El uso previsto para estos recursos contempló la ejecución de proyectos de agua potable, alcantarillado sanitario y pluvial, manejo de desechos sólidos y obras complementarias. Los estudios en que se sustentaría la viabilidad de estos proyectos se formularían desde los GAD elegibles [3].

Como se observa en el Figura 1, el Programa consideró originalmente 131 cantones como elegibles. Los criterios de elegibilidad del Programa apuntaron al financiamiento de servicios en GAD donde se verifique: i) una población urbana que, proyectada al 2007, se ubique en un rango menor a 100.000 habitantes, ii) una cobertura urbana de agua potable que al año 2001 sea menor al 70 % y iii) un índice de pobreza por necesidades básicas insatisfechas que al 2001 sea superior al 50 %.

También en la Figura 1 se aprecia que del total de elegibles fueron solamente 97 GAD los que acreditaron la existencia de proyectos de saneamiento con estudios definitivos. En términos generales, se identificaron alrededor de 254 proyectos con estudios definitivos, 109 de los cuales se concentrarían en la provisión de agua potable, 136 en la provisión de alcantarillado, 5 relacionados con el manejo de desechos sólidos y 4 que contemplaban la ejecución simultánea de planes de agua potable y alcantarillado.

2.1

2

Figura 1 Resumen de la canasta inicial de PROMADEC 1

Fuente: Banco del Estado. (2008). Documento conceptual del PROMADEC – PDM. Quito.

Cantoneselegibles

Cantonescon estudios definitivos

de proyectos

Números de proyectos

con estudiosdefinitivos

Proyectos de agua potable

Proyectos de alcantarillado

Proyectos de desechos

sólidos

Proyectoscombinados

91109

5 4

131

254

136

8

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

OBJETIVOS

Como se sugirió anteriormente, el objetivo general que se trazó PROMADEC se configuró desde la necesidad de dotar de servicios básicos en aquellos cantones en que se asienta la población más vulnerable, esto “para mejorar las condiciones de salubridad de la población carente de obras y servicios de saneamiento ambiental, o con insuficiencia o mala calidad de los existentes” [3].

En ese mismo sentido, el Programa se planteó los siguientes objetivos específicos [3]:

• Incrementar la cobertura de los servicios de agua potable, alcantarillado y obras complementarias, en todas las provincias del Ecuador.

• Satisfacer de manera sustancial las necesidades de inversión del sector de saneamiento ambiental.

• Proveer los recursos financieros para la ejecución de proyectos de los Municipios, en el sector de saneamiento ambiental.

• Coadyuvar al fortalecimiento institucional de los gobiernos seccionales para la adecuada prestación de servicios municipales a la comunidad.

• Mejorar la mayor capacidad de gestión en los Municipios con limitados recursos técnicos, administrativos y financieros, a través de una asistencia técnica integral en todas sus áreas y servicios.

COMPONENTES DEL PROGRAMA

Para cumplir con los objetivos previstos, y de acuerdo a lo señalado anteriormente, el Programa contempló el financiamiento de los siguientes componentes o instancias de intervención [3]:

Preinversión

Se refiere a la etapa en que se preparan y evalúan los proyectos, procurando la maximización de los beneficios y la minimización de los costos intertemporales asociados a su vida útil. Para tal efecto, se realizan estudios técnicos, económicos, financieros, ambientales de participación comunitaria y de gestión del servicio, que permitan asegurar la consecución de bienes y servicios con rentabilidad económica y social.

Inversión

Comprende la etapa en que se materializa el proyecto, en función de los resultados obtenidos y las recomendaciones generadas en la fase de preinversión: memoria técnica, planos, presupuesto, especificaciones y cronograma de inversión.

Esta etapa abarca:

• El financiamiento del proyecto• La ejecución del proyecto: contratación de obras, bienes y servicios y construcción y montaje• La puesta en marcha del proyecto

2.3.1

2.3.2

2.2

2.3

9

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

Fortalecimiento Iinstitucional, asistencia técnica y capacitación

Acompañando las etapas de preinversión y de inversión, PROMADEC contempla un proceso de asistencia técnica que, dirigido a los GAD beneficiarios, posibilite una mayor capacidad de gestión institucional y una eficiente administración, operación y mantenimiento de los servicios implementados.

Siendo así, el componente de asistencia técnica trabaja de acuerdo con las siguientes modalidades:

• El fortalecimiento institucional integral, que busca intervenir en todos los ámbitos de la gestión municipal, con el fin de apoyar en el mejoramiento de los indicadores institucionales1.

• La asistencia técnica vinculada al proyecto, por la que se afianzará un apoyo continuo a los GAD en el desarrollo de las fases del ciclo del proyecto, es decir, en la preparación, la operación, el mantenimiento y la gestión del servicio. Se cristaliza a través del asesoramiento en la preparación de los proyectos, la elaboración de planes administrativos financieros, el asesoramiento permanente del oficial de proyecto en la ejecución y el seguimiento, y el apoyo para la puesta en servicio y operación de los proyectos. Por medio de este tipo de asistencia se espera contribuir tanto en el proceso de recuperación de las inversiones, como en la sostenibilidad de los proyectos financiados por el Programa.

• La asistencia técnica para la participación ciudadana, dirigida a apoyar a los GAD en el apuntalamiento de procesos de involucramiento de la sociedad civil, tanto en la ejecución y la implementación de los proyectos, como en la administración y el control ciudadano en la puesta en funcionamiento y la provisión de los servicios.

Desarrollo institucional tecnológico

Por último, PROMADEC consideró fundamental la introducción de un componente que fortalezca los sistemas informáticos de que disponen los GAD. Dicho fortalecimiento se daría en los ámbitos:

• De los sistemas financiero - administrativos y de contabilidad general• De los sistemas de catastros y recaudación de impuestos• De los sistemas de administración de servicios públicos e implementación de tarifas• De los sistemas de promoción comunitaria y participación ciudadana

De esta manera se esperaba apoyar la gestión del GAD beneficiario, por medio de la implantación de procesos definitivos, controlados, estandarizados y sustentados en sistemas de información que respondan a las necesidades específicas de cada Municipio.

2.3.3

2.3.4

1. Cabe destacar que estos planes de fortalecimiento se pensaron para estar dirigidos especialmente a los GAD con calificaciones de riesgo D y E, aquellos con mínima capacidad de asumir nuevas deudas, con gastos corrientes elevados, con indicadores de gestión administrativa financiera deficientes y mínima capacidad para generar ingresos propios.

PROMADEC se configuró desde la necesidad de dotar de servicios de saneamiento ambiental, orientados hacia la población más vulnerable,para mejorar sus condiciones de vida.

10

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

CRITERIOS DE ELEGIBILIDAD Y CANASTAS DE PROYECTOS

Para seleccionar a aquellos GAD con potencial para convertirse en beneficiarios de PROMADEC, se consideraron principalmente los siguientes parámetros [3]:

• Tamaño de la población: menor a 100.000 habitantes, de acuerdo con el dato de población urbana proyectada para 2007.

• Cobertura de agua potable:menor al 70 %, de acuerdo con el dato de cobertura registrado en el Censo de Población y Vivienda 2001.

• Índice de Pobreza por NBI: mayor al 50 %, de acuerdo con el dato de pobreza según el Censo de Población y Vivienda 2001.

Una vez definido el universo de GAD elegibles a escala nacional, se identificaron aquellos que pudieran acreditar proyectos de saneamiento a nivel de diseño.

Paralelamente, se consideró la inclusión de proyectos especiales, circunscritos en Municipios que no cumplían estas tipologías de elegibilidad. No obstante, cabe mencionar que estos proyectos se enmarcan en zonas urbanomarginales, donde se registran altas tasas de extrema pobreza.

Los proyectos a ser considerados en la primera canasta se seleccionaron de acuerdo con la información disponible en: i) las bases de datos consolidadas en su momento por el Ministerio de Desarrollo Urbano y Vivienda (MIDUVI), ii) las solicitudes de crédito receptadas por las distintas sucursales del Banco del Estado, y iii) el levantamiento de datos obtenidos por medio de la aplicación de una encuesta realizada por el Banco del Estado a los GAD, en el mes de febrero de 2007, sobre las necesidades de saneamiento ambiental.

Los proyectos del Ministerio de Desarrollo Urbano y Vivienda

La lista original de proyectos del MIDUVI incluyó un poco más de tres mil iniciativas, por un costo total aproximado de 915,38 millones de dólares. Los mismos fueron clasificados en tres grupos: 1) proyectos con estudios completos, 2) proyectos con estudios incompletos y 3) proyectos sin estudios [3].

Cabe anotar que en esta lista también se encuentran los denominados proyectos especiales:

1. Proyecto de agua potable Pesillo-Imbabura, por 60 millones de dólares 2. Proyecto de agua potable de Arenillas-Huaquillas por, 24,6 millones de dólares 3. Proyecto de agua potable y alcantarillado de varios sectores y parroquias de Portoviejo, por 14,8 millones de dólares

2.4.1

2.4

PROMADEC contempla un proceso de asistencia técnica que, dirigido a los GAD beneficiarios, posibilite una mayor capacidad de gestión institucional y una eficiente administración, operación y mantenimiento de los servicios implementados.

11

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

En lo que respecta a los proyectos asociados con el primer grupo (estudios completos), estos totalizaron cerca de mil emprendimientos distintos, que suponen una inversión de 341 millones de dólares aproximadamente. La Tabla 1 permite constatar que la mayor parte de los proyectos agrupados en esta primera clasificación, se enmarcaron en la provisión de alcantarillado (44 %) y agua potable (29 %).

Listado de proyectos con estudios completos

Sobre la base de estos mil proyectos con estudios completos, se seleccionaron aquellos que habían sido presentados al MIDUVI entre los años 2006 y 2007. A través de este nuevo filtro, el listado de proyectos elegibles se fijó en 301, con una inversión que alcanzaría alrededor de 177 millones de dólares (Tabla 2).

Listado de proyectos con estudios completos presentadosentre los años 2006 y 2007

Es necesario mencionar que de este listado de proyectos eventualmente se excluirían aquellos que, luego de un proceso exhaustivo de evaluación, estén siendo financiados con otras fuentes, o se presenten técnicamente inviables.

Los proyectos del Banco del Estado

Por su parte, la lista del Banco del Estado permitió la consolidación de 157 proyectos a nivel de diseño definitivo (nuevamente concentrados en la prestación de servicios

SECTOR NÚMERO DE PROYECTOS MONTO (US $)Alcantarillado 446 138.126.200Agua potable 301 129.494.000Agua potable y alcantarillado 38 62.044.700Desechos sólidos 12 2.709.500Baterías sanitarias 57 1.356.900Letrinización 171 7.641.920TOTAL 1.025 341.373.220

SECTOR NÚMERO DE PROYECTOS MONTO (US $)Agua potable 116 42.504.554,26Alcantarillado sanitario 120 75.860.386,65Alcantarillado combinado 10 9.138.882,84Alcantarillado pluvial 47 39.942.767,70Desechos sólidos 3 951.020,98Mixtos (agua potable y alcantarillado) 5 8.384.848,10TOTAL 301 176.782.460,53

Tabla 2

Fuente: BdE-MIDUVI, “Canasta de proyectos para el PROMADEC I”, 2013

Fuente: BdE-MIDUVI, “Canasta de proyectos para el PROMADEC I”, 2013

Tabla 1

2.4.2

La lista original de proyectos del MIDUVI incluyó un poco más de 3 mil iniciativas, por un costo total aproximado de 915,38 millones de dólares.

12

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

de agua potable y alcantarillado), con una inversión aproximada de 89,7 millones de dólares. La lista se refiere a aquellos proyectos inscritos en las diferentes solicitudes e intenciones de crédito receptadas por las sucursales regionales del Banco, a nivel nacional. El detalle es el siguiente (Tabla 3):

Listado de proyectos del Banco del Estado

Sobre la base de esta canasta de 458 proyectos, se aplicaron los criterios de elegibilidad descritos anteriormente: 1) población urbana, 2) cobertura de servicios y 3) Pobreza por NBI.

Como se advirtió previamente, son cerca de 131 GAD los que cumplen estas características. En ellos se constata la existencia de 254 proyectos, los mismos que representan una inversión total de 142,2 millones de dólares (Tabla 4).

Número de proyectos de la canasta inicial del PROMADEC

SECTOR NÚMERO DE PROYECTOS MONTO (US $)Agua potable 77 22.366.833,62Alcantarillado sanitario 63 26.184.704,64Alcantarillado combinado 3 17.263.123,00Alcantarillado pluvial 1 353.920,81Desechos sólidos 4 4.933.009,47Mixtos (agua potable y alcantarillado) 9 18.566.936,11TOTAL 157 89.668.527,65

VARIABLESPoblación urbana proyectada < 100.000 hab.Cobertura de agua potable en la zona urbana al 2001 < 70 %Pobreza por necesidades básicas insatisfechas al 2001 > 50 %

Tabla 3

Tabla 4

Fuente: Banco del Estado. (2008). Documento conceptual del PROMADEC – PDM. Quito.

SECTOR NÚMERO DE PROYECTOS MONTO (US $)Agua potable 109 34.818.410,52Alcantarillado sanitario 105 65.006.779,60Alcantarillado combinado 4 1.459.061,11Alcantarillado pluvial 27 14.707.883,42Desechos sólidos 5 3.007.166,99Mixtos (agua potable y alcantarillado) 4 23.206.354,31TOTAL 254 142.205.655,95

Fuente: Banco del Estado. (2008). Documento conceptual del PROMADEC – PDM. Quito.

El Banco del Estado preseleccionó 157 proyectos a nivel de diseño definitivo, con una inversión aproximada de 89,7 millonesde dólares.

13

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

DETERMINACIÓN DE SUBSIDIOS Y ESQUEMADE FINANCIAMIENTO

Cálculo de subsidios

Los proyectos financiados por PROMADEC contemplaron la entrega de recursos no reembolsables para cada uno de los GAD beneficiarios. Así, los Municipios que obtuvieron créditos de PROMADEC recibieron un subsidio que se encontró en un rango entre el 20 % y el 80 %, de acuerdo con las directrices generales previstas en la conceptualización del programa. El subsidio para cada GAD se definió considerando los pesos relativos dados a los indicadores sociales específicos.

Estos indicadores respondieron a los objetivos de PROMADEC y fueron los siguientes [3]:

•El nivel de pobreza por necesidades básicas insatisfechas, NBI, que valora un hogar como pobre cuando tiene carencias graves en el acceso a educación, salud, nutrición, vivienda, servicios urbanos y oportunidades de empleo. Factor de ponderación: 60 %.

•El nivel de cobertura de agua potable, entendido como el porcentaje de viviendas con abastecimiento de agua a través de red pública de tubería dentro de la vivienda. Factor de ponderación: 40 %.

•El nivel de cobertura de alcantarillado, entendido como el porcentaje de viviendas con acceso a la red pública de alcantarillado. Factor de ponderación: 40 %.

•El nivel de cobertura en el servicio de recolección de basura, que alude al porcentaje de viviendas con eliminación de basura por medio de carro recolector. Factor de ponderación: 40 %.

En este sentido, el subsidio previsto para cada cantón, dependiendo del tipo de proyecto (agua potable/alcantarillado/recolección de basura), se obtuvo como resultado de la sumatoria ponderada de la pobreza por NBI (60 %) y el nivel de cobertura de cada servicio en cada caso (40 %).

Esquema de financiamiento de la propuesta

Como se presenta en la Tabla 5, el esquema de financiamiento de cada proyecto, una vez establecidos los niveles de subsidio por beneficiario, se determinó de la siguiente manera [3]:

Esquema de financiamiento de cada proyecto

Así, PROMADEC estima un financiamiento que se alimenta de: i) el aporte de la entidad prestataria de acuerdo con su capacidad financiera, (en este caso se consideró el 10 % como mínimo); ii) el porcentaje de subsidio en función del tipo de proyecto y de la jurisdicción cantonal respectiva; y, iii) el porcentaje del crédito determinado como la diferencia entre el 100 % del costo total del proyecto y la suma de los porcentajes correspondientes al aporte de la entidad, y de los montos provenientes de FIM y CAF no reembolsables.

Tabla 5

FUENTES DE FINANCIAMIENTO % de PARTICIPACIÓNFIM (No reembolsable)CAF (No reembolsable) Aporte de la entidad 10 % mínimoCAF (Reembolsable) Crédito = 100 % – % subsidio determinado – % aporte de la entidadTOTAL 100.00 %

Fuente: Banco del Estado. (2008). Documento conceptual del PROMADEC – PDM. Quito.

% de subsidio determinado

2.5

2.5.1

2.5.2

14

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

MARCO CONCEPTUAL

EVALUACIÓN EX POST

Generalmente, una evaluación comprende la recolección y el análisis sistemático de una serie de evidencias que permitan emitir una opinión informada sobre el objeto evaluado e identificar sendas de optimización continua. En ese sentido, una evaluación ex post se define como una valoración objetiva y sistemática sobre un proyecto o un conjunto de proyectos cuya fase de implementación ha terminado o por lo menos demuestra un grado de avance importante. Su propósito es doble, ya que por un lado se enfoca en la retroalimentación para la mejora en la ejecución de proyectos similares y por otro, aspira transparentar el proceso y los resultados/impactos de los proyectos [4].

CRITERIOS DE EVALUACIÓN

Una evaluación ex post se sustenta en, por lo menos, cuatro criterios analíticos:1. Pertinencia, 2. Eficacia, 3. Eficiencia y 4. Impacto. A continuación, se explican brevemente las implicancias de cada uno de estos aspectos de evaluación [8]:

Pertinencia

A través de este criterio de evaluación, se espera dimensionar el grado de coherencia observada entre las necesidades de los beneficiarios, los contextos local y regional, y las políticas nacionales [8].

En última instancia, la evaluación de la pertinencia de un proyecto o un conjunto de proyectos intenta determinar si:

•El objetivo central del programa fue consistente con las políticas y prioridades del sector.

• Los resultados alcanzados se alinearon con las expectativas de las poblaciones impactadas por los proyectos.

Eficacia

Por medio del criterio de eficacia se pretende evaluar hasta qué punto se cumplieron los objetivos planteados originalmente por el proyecto. Así, una determinada iniciativa es más o menos eficaz en la medida en que se consigue alcanzar —o no— las metas asociadas al desarrollo de un proyecto [8].

3

3.1

3.2

3.2.1

3.2.2

Los municipios que obtuvieron créditos de PROMADEC recibieron un subsidio que se encontró en un rango entre el 20 % y el 80 %.

15

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

En ese sentido, la evaluación de la eficacia de un proyecto o conjunto de proyectos intenta determinar:

•El grado de consecución del objetivo central del proyecto. • Los factores críticos en el alcance de las metas perseguidas.

Eficiencia

La introducción del criterio de eficiencia busca relacionar los niveles de eficacia del proyecto con los costos implicados en su realización. Siendo así, un programa se juzga eficiente si la consecución de la meta se logró a través de un uso óptimo de los recursos disponibles [8].

Bajo esa premisa, la evaluación de la eficiencia de un proyecto o un conjunto de proyectos intenta determinar:

• La pertinencia de los productos obtenidos a través del proyecto.• Los factores que contribuyeron o dificultaron la realización del proyecto.• Los costos asociados al proyecto.

Cabe aclarar que el costo de un proyecto no solamente se refiere al volumen de recursos monetarios empleados en el programa, sino a todos aquellos insumos necesarios para su realización.

Impacto

Por medio de este criterio se pretenden cuantificar aquellos cambios de mediano y largo plazo, positivos o negativos, directamente atribuibles al desarrollo del proyecto en cuestión [8]

En tal virtud, la evaluación del impacto de un proyecto o un conjunto de proyectos intenta determinar:

•Si los impactos previstos fueron alcanzados y si son atribuibles al proyecto.•Que impactos no previstos generó el proyecto.

En el contexto de una evaluación de resultados, el criterio de impacto solo se aplicará sobre los impactos directos, de manera parcial y dependiendo de la disponibilidad de datos, presupuesto y tiempo.

3.2.4

3.2.3

Hacia finales de la década de 1990, el 33 % de los hogares carecía de servicio de agua potable, el 43 % no contaba con conexión a la red de alcantarillado y el 51% se encontró al margen de un servicio de recolección de residuos sólidos.

16

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

LA INVERSIÓN EN PROGRAMASDE SANEAMIENTO AMBIENTAL

CONTEXTO GENERAL

De acuerdo con información publicada por el MIDUVI, hacia finales de la década de 1990, el 33 % de los hogares carecía de servicio de agua potable, mientras que el 43 % no contaba con conexión a la red de alcantarillado y el 51 % se encontró al margen de un servicio de recolección de residuos sólidos [1]. La baja calidad y la escasa cobertura de estos servicios se manifiestan en un servicio intermitente de agua en casi la mitad de los centros urbanos, en la falta de tratamiento de las aguas superficiales en un 30 % de los centros urbanos, en la falta de tratamiento de las aguas usadas y la descarga de basura en quebradas y ríos, entre otros [1] [5].

Como se aprecia en la Figura 2, durante 1999, y de acuerdo con información de la Subsecretaría de Agua Potable y Saneamiento Básico del Ministerio de Desarrollo Urbano y Vivienda [6], el déficit de servicio de alcantarillado se ubicó en el 43 %; el déficit de eliminación de desechos, en el 51 % y el de agua potable, en el 33 % [1]. Por el contrario, en 2012, y según información de la Encuesta Nacional de Empleo, Desempleo y Subempleo del Instituto Nacional de Estadísticas y Censos (INEC), los déficit de cobertura de alcantarillado, eliminación de desechos y agua potable se ubicaron en el 45 %, el 24 % y el 26 % respectivamente (Figura 2), comprobándose una sustancial disminución en las brechas de agua potable y eliminación de desechos sólidos, lo que se explicaría por los importantes esfuerzos impulsados durante la última década por el gobierno central y los gobiernos locales tendientes a posibilitar el mejoramiento y la universalización de estos servicios.

Brechas en la cobertura de servicios en las áreas urbana y rural (1999 y 2012)

4

4.1

Figura 2

Fuente: INEC, Encuesta Nacional de Empleo, Desempleo y Subempleo, 2012;MIDUVI, Subsecretaría de Agua Potable y Saneamiento Básico, 2007

Agua potableAlcantarillado Eliminación de desechos

43 %45 %

51 %

33 %

24 %26 %

19992012

17

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

En efecto, es sobre todo a partir de 2000 que las ciudades más grandes apuntalan estrategias de financiamiento y planes de inversión que permitan cerrar esta brecha en el largo plazo. Además, se constata la generalización de políticas y estrategias sectoriales para la promoción de la higiene y la educación sanitaria, la disposición de excretas y el tratamiento de aguas residuales, todo esto mientras que las referidas a la recolección, el tratamiento y la disposición sanitaria de lodos sépticos y residuos sólidos se encuentren en paulatino desarrollo2.

A pesar de estas iniciativas, dichas problemáticas presentan una serie de desafíos, que se agudizan principalmente en torno a las inequidades que se registran desde la perspectiva territorial. Históricamente, es en gran parte de las provincias de la Costa y la Amazonía donde se evidencian los niveles más bajos de cobertura y calidad en los servicios de agua potable y saneamiento. Además la carencia de servicios de agua potable, saneamiento y residuos sólidos se vuelve mucho más patente cuando se contrasta la prestación de servicios básicos en áreas rurales con su provisión en áreas urbanas. La dimensión de este desequilibrio queda demostrada cuando se observa que la cobertura urbana de servicios es considerablemente superior a la que se registra en el ámbito rural (Figura 3).

Cobertura de servicios en las áreas urbana y rural 2012

Bajo estas consideraciones, y en la medida en que los desafíos se configuran desde la mirada territorial, el esquema organizacional por el que se ha intentado atender estas demandas ha venido inclinándose hacia la descentralización de las competencias de prestación del servicio en favor de los GAD [6]. Es desde este enfoque que la intervención prevista por PROMADEC cobra sentido y se instrumentaliza.

Figura 3

Fuente: INEC, Encuesta Nacional de Empleo, Desempleo y Subempleo, 2012.

Agua potable Alcantarillado Eliminación de desechos

94 %

36 %

88 %

95 %

21 %

40 %

UrbanaRural

2. Misión de WSP, SANEAMIENTO PARA EL DESARROLLO ¿Cómo estamos en 21 países de América Latina y el Caribe?, Noviembre de 2007.

18

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

LA INVERSIÓN DEL BANCO DEL ESTADO

En cumplimiento de su objetivo institucional, entre 2007 y 2012, el Banco del Estado aprobó créditos por alrededor de 769 millones de dólares en los sectores de: agua potable, alcantarillado sanitario y pluvial, y desechos sólidos. La Figura 4 revela que dicha inversión fue 8 veces más grande que la que se canalizó a lo largo del periodo precedente, comprendido entre 2000 y 2006, pasando de 93 millones de dólares a 769 millones de dólares.

Monto de desembolsos por actividad en los períodos 2001-2006y 2007-2012, en millones de dólares

En el marco de PROMADEC 1, el Banco del Estado ha invertido cerca de 202 millones de dólares, recursos que, como se detalla en la Figura 5, han financiado proyectos de agua potable (39 % del total invertido); alcantarillado sanitario, manejo de aguas residuales, agua pluvial y combinado (56 %); desechos sólidos (5 %); y otros (1 %) entre los que

4.2

Figura 4

Agua potable Alcantarillado Residuos sólidos

2000-20062007-2012

48

315

38

371

746

Fuente: Banco del Estado, Sistema Integrado de Créditos (SIC), 2013.

Entre 2007 y 2012, el Banco del Estado aprobó créditos por alrededor de 769 millones de dólares en los sectores de: agua potable, alcantarillado sanitario y pluvial, y desechos sólidos.

19

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

se cuentan planes de pavimentación (adoquinado, empedrado y otros) y protección de la infraestructura básica, así como asistencia técnica (catastros) y capacitación para administración de los proyectos y gestión municipal.

Monto de desembolsos, en millones de dólares, por actividad de PROMADEC 1

Estos recursos han permitido llevar adelante una serie de proyectos en todo el país. Precisamente, la Tabla 6 presenta información relacionada con el valor monetario asociado a los proyectos, por región y por actividad, que se materializó a través de PROMADEC 1. Esta inversión se ha concentrado principalmente en la región Costa, esto en tanto se observa que el 64 % del total de créditos colocados por el Programa coadyuvó a la implementación de proyectos en esa instancia territorial. En efecto, son las provincias de la Costa las que captaron una buena parte de estos recursos, siendo Guayas la mayor beneficiaria (29,4 % del total de la inversión nacional), seguida por Los Ríos (9,6 %), El Oro (9,2 %) y Manabí (7,6 %). Los créditos entregados a estas cuatro provincias para alentar la inversión en saneamiento, ascendieron a 112,8 millones de dólares.

Montos de desembolso, en millones de dólares,por actividad en las diferentes regiones del país

Región AGUA POTABLE ALCANTARILLADO RESIDUOS SOLIDOS ESTUDIOS OTROSCOSTA 52.005.227,17 68.821.052,51 4.504.374,50 2.964.120,70 319.726,16INSULAR 0,00 0,00 0,00 318.528 0,00AMAZONÍA 2.725.050,83 15.349.621,4 969.279,59 734.493,42 331.961,94SIERRA 21.145.280,50 24.988.128,17 3.476.116,60 2.473.062,95 1.090.625,12Total general 75.875.558,50 109.158.802,1 8.949.770,69 6.490.205,07 1.742.313,22

Fuente: Banco del Estado, Sistema Integrado de Créditos (SIC), 2013.

Figura 5

Tabla 6

Fuente: Banco del Estado, Sistema Integrado de Créditos (SIC), 2013.

Agua potable

Alcantarillado Residuos sólidos Otros

76

109

9 8

20

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

DIAGNÓSTICO Y EVALUACIÓN DE RESULTADOSDEL PROGRAMA PROMADEC 1

La mayor parte de los resultados que se presentan a continuación proviene del ESTUDIO DE EVALUACIÓN DE RESULTADOS DE LOS PROGRAMAS DE FINANCIAMIENTO DEL BANCO DEL ESTADO, elaborado durante 2012, y cuyo periodo de análisis abarca la gestión comprendida durante los nueve años previos (2002 - 2011). El estudio evalúa gran parte de las líneas de negocio del Banco del Estado, entre las que se cuentan PROMADEC 1.

EVALUACIÓN DE PERTINENCIA

Como se señaló en la descripción del marco conceptual, el análisis del componente de pertinencia intenta valorar el grado en que los resultados obtenidos respondieron al objetivo del programa y las políticas de la entidad ejecutora. En este caso, la pertinencia del Programa está dada principalmente por la relación que existe entre las características de los GAD efectivamente atendidos y la tipología de GAD elegible y potencial beneficiario, según los preceptos originalmente asumidos por PROMADEC 1. Desde esa perspectiva, la pertinencia de los resultados del Programa dependerá de un análisis cualitativo de las características de los municipios que recibieron créditos del Programa en contraste con los perfiles de elegibilidad inicialmente considerados.

Cabe recordar que, de acuerdo con la manera en que se concibió PROMADEC 1, los GAD elegibles debían reunir tres condiciones esenciales: una población urbana que, proyectada al 2007, no supere los 100.000 habitantes; una cobertura urbana de servicios que, al año 2001, no supere el 70 %; y un índice de pobreza por necesidades básicas insatisfechas que, al 2001, se encuentre en un rango mayor al 50 %. Como resultado de la aplicación de este perfil de elegibilidad se seleccionó un universo de 131 cantones.

Hacia 2012, de esta canasta inicial de 131 GAD, el Programa había atendido los requerimientos de aproximadamente 99 de ellos. Paralelamente, y por fuera del universo de GAD seleccionables, el Programa amplió su influencia a 81 GAD adicionales. A pesar de no cumplir necesariamente con los tres criterios de elegibilidad, estos 81 GAD cuentan, en su mayoría, con una población inferior a 100 mil habitantes y una pobreza por NBI mayor que el 50 %. No obstante, muchos de ellos disponen de una cobertura de agua potable mayor que el 70 % (ver Figura 6). Esto último no fue un impedimento para su inclusión en

Fuente: Banco del Estado, en base a datos del Censo de Población 2001.

5

5.1

Figura 6

Condición población Satisface al menos dos condiciones

Proyectos especiales

24

52

5

Condiciones satisfechas por los 81 cantones adicionales

21

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

el Programa, ya que la inversión de recursos en saneamiento reconocería el trabajo que vienen impulsando estos GAD y, además, contribuiría al cierre eventual de sus brechas.

Lo anterior da cuenta de la alta correlación observada entre los objetivos de colocación de créditos del Programa y los patrones efectivos de direccionamiento de recursos hacia los GAD, lo que, en última instancia, implica un importante nivel de pertinencia en el Programa.

EVALUACIÓN DE EFICACIA

La evaluación ateniente al componente de eficacia de un programa se basa en la consecución del objetivo principal: la provisión de un servicio oportuno y de calidad. Para tal efecto, se vuelve necesario cuantificar y contrastar el grado de utilización del proyecto por los beneficiarios directos (usuarios), con la meta que —a este respecto— se contempló en el estudio de preinversión.

La evaluación consideró los siguientes aspectos:

• Nivel de implementación del proyecto.• Nivel de funcionamiento del proyecto.• Nivel de mejoramiento en las condiciones de vida de la población

La misma apeló a información recabada a través de la opinión y el análisis de expertos locales, técnicos de los GAD y las sucursales del Banco del Estado. Una vez sistematizada esta información, se tipificó cada proyecto evaluado, de acuerdo con tres categorías de calidad: alta, mediana y baja, que se definieron como se describe a continuación:

En la información levantada a través de estos ejercicios, se puede observar que, por lo general, el servicio posibilitado por el proyecto cuenta con una alta valoración en términos de la calidad con que se entrega. Es así que al menos un 85 % de los proyectos analizados acreditan la categoría “alta calidad” (Figura 7). Esto sugiere que los proyectos financiados con los créditos del Banco del Estado se implementaron, están funcionando y gracias a ellos la población de las localidades beneficiarias recibe un mejor servicio que el que se le entregaba en una situación anterior al proyecto. En términos monetarios, los créditos que financiaron proyectos asociados con un servicio de alta calidad representan un poco más de 2 mil millones de dólares.

LaobraoelestudiofinanciadoporelBancoseimplementó,estáALTA CALIDAD funcionando y gracias a eso la población de la localidad recibe un mejor servicio que antes. LaobraoelestudiofinanciadoporelBancoseimplementóyestáMEDIANA CALIDAD funcionando; sin embargo, para que la población de la localidad reciba un mejor servicio, se requiere de una intervención adicional. LaobraoelestudiofinanciadoporelBanconoseimplementó o no está funcionando.BAJA CALIDAD

5.2

De los 131 GAD elegidos, el Programa había atendido los requerimientos de aproximadamente 99 de ellos. Luego, el Programa amplió su influencia a 81 GAD adicionales.

22

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

Por otro lado, cerca de un 9 % de los proyectos evaluados se identifica con un nivel de mediana calidad (Figura 7), lo que implica que requiera una intervención adicional para garantizar una prestación adecuada. Las principales razones presentadas por los proveedores de información tuvieron principalmente que ver con la aparente falta de integralidad de los proyectos, iniciativas puntuales con escaso alcance y con necesidad de obras complementarias. Solamente un 3 % de los proyectos sujetos a análisis, correspondió a aquellos que no llegaron a implementarse por alguna razón a nivel de diseño o viabilidad práctica.

Nivel de calidad de servicio en el sectorde saneamiento ambiental,periodo 2002-2011

El estudio obtiene métricas bastante similares a la hora de extrapolar estas conclusiones a los proyectos enmarcados específicamente en el sector de saneamiento ambiental. Es así que al menos el 83 % de estos proyectos están relacionados con un servicio que se percibe como de “alta calidad” (Figura 8). Este tipo de evidencia supone un alto grado de eficacia en los proyectos financiados por PROMADEC 1 desde 2007.

Calidad de seguimiento y asistenciatécnica en el sector de saneamientoambiental, periodo 2002-2011

Figura 7

Figura 8

3 % 3 %

9 %

85 %Baja (0-0,49)Mediana (0,50-0,80)Alta (0,81-1)N/D

BajaMediaAlta

83 %

9 %

8 %

Fuente: Banco del Estado, Estudio de Evaluación de Resultados de los Programas de Financiamien

to de

l Ban

co d

el E

stad

o, 2

012.

Fuente: Banco del Estado, Estudio de Evaluación de Resultados de los Programas de Financiamien

to de

l Ban

co d

el E

stad

o, 2

012.

23

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

EVALUACIÓN DE EFICIENCIA

En el contexto de una evaluación de resultados, se entiende por eficiencia a la relación que se establece entre los insumos empleados en el proyecto y los productos obtenidos por él. En otras palabras, el nivel de eficiencia viene dado por el grado en que los resultados de un programa o un proyecto se han logrado a través de un uso optimizado de los recursos.

En este caso, se toma la relación porcentual entre el tiempo planificado y el tiempo efectivo en que se realizaron los desembolsos [8]. Es así que este indicador se enfoca en el cumplimiento de los plazos estipulados en el contrato de cada programa. Para una correcta interpretación de este indicador, se debe mencionar que un valor igual a 100 % implica que el tiempo en que se ejecutaron los desembolsos fue respetado conforme a lo planificado. Por el contrario, un valor menor que 100 % representa una demora en el cumplimiento de los plazos.

Distribución de créditos por eficiencia

La media observada para este indicador es del 99,93 % con lo cual se puede concluir que se han cumplido los plazos contractuales para la mayor parte de los desembolsos. Como se advierte en la Figura 9, la mitad de los créditos presenta una alta eficiencia, y el 47,5 % tiene una eficiencia que se ubica entre el 90 % y el 100 %. Tan solo el 3,2 % presenta una relación menor al 90 %, pudiéndose concluir que la mayoría de los créditos otorgados cumple con los plazos previstos en sus condiciones contractuales, lo que contribuye a la implementación adecuada de los proyectos y disminuye los costos de oportunidad de los recursos financieros, entre otros. Además, supone el cumplimiento, de parte de los GAD contrayentes del crédito, de los condicionantes para la realización de nuevos desembolsos (informes de avance de proyecto, informes de ejecución de los recursos entregados previamente, etc.).

5.3

Figura 9

90 % < x < 100 %x > 100 %x < 90 %

Tiempo planificadoTiempo total de ejecución

Indicador de eficiencia = x 100 %

47,50 % 49,29 %

3,21 %

Fuente: Banco del Esta

do, S

istem

a In

tegr

ado

de C

rédi

tos

(SIC

), 20

12.

24

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

EVALUACIÓN DE IMPACTO

El análisis del impacto de un programa procura estimar los cambios de mediano y largo plazos, producidos directamente por el proyecto estudiado. Con ese propósito, la presente sección se vale una metodología denominada de contraste de diferencia de proporciones (Ver Anexo), por la que se comparan las diferencias que se pudieran encontrar entre proporciones de individuos que poseen ciertas características, respecto de dos muestras independientes.

La aplicación de esta metodología considerará todas las inversiones del Banco del Estado en saneamiento ambiental y no solamente las referidas a PROMADEC 1, esto debido a las dificultades para aislar los efectos de un solo programa. Además, y dado que la información utilizada proviene de la Encuesta Nacional de Empleo y Desempleo Urbano, ENEMDU 2012, y que su representación es nacional y provincial, se realiza un análisis de carácter provincial, para la región Costa y la región Sierra. Para el caso de las provincias de la región Amazónica, el análisis se realiza a escala regional, ya que la dispersión poblacional de esa zona vuelve poco significativos los enfoques de interpretación provincial.

En función de lo anterior, la metodología aplicada en esta sección parte por considerar dos periodos de análisis. Designaremos con XA al número de hogares cuya necesidad de interés se encuentra cubierta en el periodo de corte 2007, mientras que nA representará el número de hogares encuestados en el año 2007. Por su parte, XB será el número de hogares con cobertura de la necesidad de interés hacia el periodo de corte 2012; y nB el número de hogares encuestados a lo largo de ese año.

La Tabla 8 muestra la manera en que la metodología de contraste de diferencias de proporciones se aplicó para evaluar el impacto logrado a través de proyectos de alcantarillado. La información revela que los territorios donde se han implementado proyectos de saneamiento han experimentado, todos sin excepción, variaciones positivas importantes (las diferencias que se registran entre pA y pB) en sus coberturas de servicio de alcantarillado, durante el periodo de evaluación (2007-2012).

Contraste de proporciones en la cobertura de alcantarillado por hogaresen los años 2007 y 2012

Fuente: INEC, Encuesta Nacional de Empleo, Desempleo y Subempleo, 2012; Elaboración: Banco del Estado, Dirección de Políticas Públicas y Análisis, 2013.

Tabla 8

COBERTURA DE ALCANTARILLADOProvincia pA XA nA pB XB nB pP Z* p-valor ConclusiónAzuay 0,61 101.871 167.003 0,72 146.293 202.852 0,67 71,61 0 pA≠pBBolívar 0,31 13.817 44.998 0,36 20.358 56.067 0,33 18,72 0 pA≠pBCañar 0,43 22.952 53.776 0,53 36.560 69.126 0,48 35,52 0 pA≠pBCarchi 0,69 31.088 44.842 0,74 37.308 50.325 0,71 16,46 0 pA≠pBCotopaxi 0,40 39.734 98.124 0,47 61.428 129.480 0,44 33,04 0 pA≠pBChimborazo 0,47 54.221 115.526 0,48 70.149 147.658 0,47 2,93 0,003 pA≠pBEl Oro 0,64 100.374 157.157 0,77 142.755 184.989 0,71 85,50 0 pA≠pBEsmeraldas 0,41 41.404 100.103 0,45 60.462 134.500 0,43 17,36 0 pA≠pBGuayas 0,49 440.277 896.990 0,75 755.806 1.008.484 0,62 368,60 0 pA≠pBImbabura 0,67 67.516 100.888 0,69 79.706 115.991 0,67 8,93 0 pA≠pBLoja 0,42 42.855 101.410 0,51 62.882 124.352 0,46 39,35 0 pA≠pBLos Ríos 0,22 38.971 180.344 0,29 61.786 212.162 0,25 53,70 0 pA≠pBManabí 0,30 92.592 307.765 0,37 128.853 348.794 0,33 58,65 0 pA≠pBPichincha 0,86 632.934 734.949 0,89 734.205 824.354 0,87 55,85 0 pA≠pBTungurahua 0,62 85.132 137.874 0,70 109.995 156.156 0,66 49,78 0 pA≠pBZonas no delimitadas 0,44 8.700 19.833 0,13 1254 9858 0,33 53,54 0 pA≠pBAmazonía 0,44 63.877 143.764 0,45 79645 176119 0,44 4,47 7,77-6 pA≠pB

5.4

25

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

Así mismo, la Tabla 9 muestra el mismo ejercicio anterior, pero esta vez aplicado para evaluar el impacto logrado a través de proyectos de agua potable. En este caso, se constata que la mayoría de territorios analizados mejora sus coberturas.

Contraste de proporciones en la cobertura de agua potablepor hogares en los años 2007 y 2012

En lo que respecta a lo sucedido en el ámbito de la prestación de servicios de recolección de basura, la Tabla 10 demuestra nuevamente una ampliación generalizada en la influencia efectiva del servicio, entre los años 2007 y 2012, lo que supondría un impacto positivo y sostenido en el tiempo, para cada uno de los proyectos promovidos a través de PROMADEC.

Contraste de proporciones en la cobertura de recolección de basurapor hogares en los años 2007 y 2012

COBERTURA DE AGUA POTABLEProvincia pA XA nA pB XB nB pP Z* p-valor ConclusiónAzuay 0,72 120.250 167.003 0,78 159.188 202.852 0,75 45,56 0 pA≠pBBolívar 0,42 19.064 44.998 0,53 29.547 56.067 0,48 32,67 0 pA≠pBCañar 0,60 32.195 53.776 0,68 47.333 69.126 0,64 31,31 0 pA≠pBCarchi 0,76 33.935 44.842 0,79 39.715 50.325 0,77 11,92 0 pA≠pBCotopaxi 0,56 55.015 98.124 0,59 76.408 129.480 0,57 14,08 0 pA≠pBChimborazo 0,53 61.044 115.526 0,57 83.974 147.658 0,558 20,62 0 pA≠pBEl Oro 0,84 131.581 157.157 0,86 158.984 184.989 0,84 18,05 0 pA≠pBEsmeraldas 0,60 60.129 100.103 0,60 81.282 134.500 0,60 1,79 0,072 pA=pBGuayas 0,79 710.252 896.990 0,84 844.002 1.008.484 0,81 80,11 0 pA≠pBImbabura 0,73 73.613 100.888 0,80 92.409 115.991 0,76 36,75 0 pA≠pBLoja 0,63 63.835 101.410 0,72 89.717 124.352 0,68 46,61 0 pA≠pBLos Ríos 0,46 83.025 180.344 0,52 109.969 212.162 0,49 36,19 0 pA≠pBManabí 0,52 160.185 307.765 0,52 180.903 348.794 0,51 1,47 0,13 pA=pBPichincha 0,88 645.169 734.949 0,89 735.544 824.354 0,88 28,23 0 pA≠pBTungurahua 0,79 109.606 137.874 0,81 127.105 156.156 0,80 12,97 0 pA≠pBZonas no delimitadas 0,61 12.105 19.833 0,28 2.777 9.858 0,50 53,32 0 pA≠pBAmazonía 0,47 67.590 143.764 0,50 87.819 176.119 0,48 16,03 0 pA≠pB

Fuente: INEC, Encuesta Nacional de Empleo, Desempleo y Subempleo, 2012; Elaboración: Banco del Estado, Dirección de Políticas Públicas y Análisis, 2013.

COBERTURA DE RECOLECCIÓN DE BASURAProvincia pA XA nA pB XB nB pP Z* p-valor ConclusiónAzuay 0,68 114.035 167.003 0,80 162.015 202.852 0,74 80,58 0 pA≠pBBolívar 0,31 14.069 44.998 0,40 22.460 56.067 0,36 28,92 0 pA≠pBCañar 0,49 26.604 53.776 0,61 42.306 69.126 0,56 41,09 0 pA≠pBCarchi 0,68 30.411 44.842 0,73 36.593 50.325 0,70 16,51 0 pA≠pBCotopaxi 0,43 42.571 98.124 0,51 66.383 129.480 0,47 37,28 0 pA≠pBChimborazo 0,42 48.964 115.526 0,46 68.208 147.658 0,44 19,51 0 pA≠pBEl Oro 0,80 125.756 157.157 0,89 165.137 184.989 0,85 75,55 0 pA≠pBEsmeraldas 0,63 63.537 100.103 0,69 92.540 134.500 0,66 27,06 0 pA≠pBGuayas 0,82 737.214 896.990 0,87 876.297 1.008.484 0,84 89,99 0 pA≠pBImbabura 0,72 72.406 100.888 0,82 95.693 115.991 0,77 59,70 0 pA≠pBLoja 0,47 47.238 101.410 0,54 67.332 124.352 0,50 35,76 0 pA≠pBLos Ríos 0,57 103.559 180.344 0,63 134.088 212.162 0,60 36,90 0 pA≠pBManabí 0,61 186.859 307.765 0,63 219.476 348.794 0,61 18,39 0 pA=pBPichincha 0,89 654.561 734.949 0,89 733.932 824.354 0,89 0,61 0,53 pA=pBTungurahua 0,64 87.917 137.874 0,73 114.134 156.156 0,68 54,41 0 pA≠pBZonas no delimitadas 0,68 13.416 19.833 0,57 5.641 9.858 0,64 17,62 0 pA≠pBAmazonía 0,55 79.126 143.764 0,63 111.277 176.119 0,59 46,67 0 pA≠pB

Fuente: INEC, Encuesta Nacional de Empleo, Desempleo y Subempleo, 2012; Elaboración: Banco del Estado, Dirección de Políticas Públicas y Análisis, 2013.

Tabla 9

Tabla 10

26

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

La afirmación anterior debe ser ponderada comparando los montos de inversión en proyectos de saneamiento, con las variaciones que se registraron en las coberturas de estos servicios entre 2007 y 2012. La Tabla 11 confronta, por provincia/región, el valor monetario de todos los proyectos de alcantarillado financiados en el periodo de análisis y los cambios producidos en los respectivos niveles de cobertura del servicio.

Variación de cobertura en alcantarillado y monto de inversión en alcantarillado sanitario entre los años 2007 y 2012

En general, se comprueban correlaciones positivas. Sin embargo, se observa que una mayor inversión no necesariamente asegura una mayor variación relativa en las coberturas del servicio. Si bien la relación entre estas dos variables es en principio significativa (aumentos en la una impulsan aumentos en la otra), aún no queda claro como una mayor inversión incide en una ampliación sostenida de la cobertura del servicio.

En lo que se refiere a los proyectos orientados a una provisión optimizada del servicio de agua potable, la Tabla 12 compara nuevamente los montos invertidos en todos estos emprendimientos, con los impactos conseguidos sobre la cobertura del servicio durante 2007-2012.

Provincia Monto de inversión Variación de coberturaManabí $ 22.534.053,42 6,86 %Amazonía $ 28.587.783,11 0,79 %Los Ríos $ 23.695.008,70 7,51 %Guayas $ 54.531.778,83 25,86 %Azuay $ 6.670.293,91 11,12 %Bolívar $ 3.259.141,66 5,61 %Cañar $ 5.169.017,31 10,21 %Carchi $ 1.297.363,00 4,81 %Cotopaxi $ 4.776.644,14 6,95 %Chimborazo $ 919.969,40 0,57 %El Oro $ 11.595.123,10 13,30 %Esmeraldas $ 9.967.262,37 3,59 %Imbabura $ 4.518.323,43 1,80 %Loja $ 8.454.604,24 8,31 %Pichincha $ 2.290.601,06 2,94 %Tungurahua $ 7.422.208,79 8,69 %

Fuente: INEC, Encuesta Nacional de Empleo, Desempleo y Subempleo, 2012;Elaboración: Banco del Estado, Dirección de Políticas Públicas y Análisis, 2013.

Tabla 11

Debido a las dificultades para aislar los efectos de un solo programa, la metodología aplicada considera todas las inversiones del Banco del Estado en saneamiento ambiental.

27

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

A pesar de que se constaten cambios positivos para todos los territorios analizados (salvo Manabí y Esmeraldas, donde el impacto de la inversión es prácticamente nulo), el impacto de los recursos invertidos presenta patrones que seguramente se encuentran condicionados por los contextos territoriales en que se cristaliza dicha inversión.

Variación de cobertura en recolección de basura en función del monto de inversión en residuos sólidos entre los años 2007 y 2012

Algo similar sucede en lo que respecta a los logros atribuibles a los créditos que se han venido colocando en proyectos de recolección de basura. Efectivamente, la Tabla 13 demuestra cambios positivos importantes en la cobertura del servicio como producto de la inversión canalizada hacia este ámbito en particular. No obstante, y como se pudo apreciar en los análisis precedentes, una mayor inversión de recursos no necesariamente ha implicado cambios proporcionales en la ampliación sistemática de la influencia del servicio.

Provincia Monto de inversión Variación de coberturaGuayas $ 40.961.082,78 4,51 %Manabí $ 46.224.358,38 0,00 %Azuay $ 22.582.218,51 6,47 %Chimborazo $ 27.967.290,43 4,03 %Esmeraldas $ 21.586.654,09 0,00 %Tungurahua $ 28.052.567,10 1,90 %Amazonía $ 24.989.681,22 2,85 %El Oro $ 15.493.430,77 2,22 %Los Ríos $ 12.734.691,33 5,80 %Pichincha $ 12.222.657,48 1,44 %Bolívar $ 7.586.775,52 10,33 %Cañar $ 5.622.010,88 8,60 %Carchi $ 4.530.121,40 3,24 %Cotopaxi $ 7.391.991,26 2,94 %Imbabura $ 2.869.495,50 6,70 %Loja $ 8.627.409,69 9,20 %

Fuente: INEC, Encuesta Nacional de Empleo, Desempleo y Subempleo, 2012;Elaboración: Banco del Estado, Dirección de Políticas Públicas y Análisis, 2013

Provincia Monto de inversión Variación de coberturaAmazonía $ 8.984.713,75 8,14 %Bolívar $ 135.600,00 8,79 %Cañar $ 2.106.694,57 11,73 %Carchi $ 550.850,96 4,90 %Cotopaxi $ 58.893,00 7,88 %Chimborazo $ 558.668,51 3,81 %Esmeraldas $ 0,00 5,33 %Los Ríos $ 1.343.238,99 5,78 %Manabí $ 316.054,74 2,21 %Tungurahua $ 605.390,71 9,32 %Azuay $ 5.997.835,85 11,59 %El Oro $ 4.122.899,54 9,25 %Guayas $ 3.584.780,27 4,70 %Imbabura $ 4.239.093,85 10,73 %Loja $ 4.262.096,86 7,56 %Pichincha $ 5.040.343,87 0,00 %

Fuente: INEC, Encuesta Nacional de Empleo, Desempleo y Subempleo, 2012;Elaboración: Banco del Estado, Dirección de Políticas Públicas y Análisis, 2013

Tabla 13

Tabla 12 Variación de cobertura en agua potable en función del monto de inversión en agua potable entre los años 2007 y 2012

28

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

CONCLUSIONES

• El país presenta una serie de desafíos históricos en materia de saneamiento ambiental, que se vienen enfrentado a través de políticas que han pretendido dar una solución integral y sostenida a problemáticas como la falta de cobertura y calidad de servicios esenciales (provisión de agua potable, alcantarillado y desechos sólidos, entre otros). Para efectivizar estas políticas, los enfoques de implementación han tendido cada vez más hacia la desconcentración administrativa y de gestión de los servicios, confiriéndosele un rol fundamental a los GAD.

• Desde 2007, y en virtud de lo anterior, PROMADEC 1 pretendió enmarcarse en la consecución de ese gran objetivo, contribuyendo en el cierre de brechas de cobertura y el mejoramiento en la calidad de los servicios básicos a escalas nacional, provincial, cantonal y parroquial, esto a través de la colocación de créditos que financien la realización de proyectos de agua potable, alcantarillado, manejo de desechos sólidos y asistencia técnica, entre otros. Por medio del Programa, se invirtieron alrededor de 202 millones de dólares a lo largo de 6 años (2007-2012).

• La pertinencia se define de acuerdo con la canalización de recursos hacia cantones que cumplieron los criterios de elegibilidad originalmente previstos en los objetivos del Programa. Efectivamente, de los 131 cantones seleccionados de acuerdo con los perfiles definidos por el Programa, se atendió a 99, y de los 81 cantones que por fuera del universo de elegibilidad quedaron incluidos en los planes de financiamiento del Programa, 53 se ajustaron a dos de los tres criterios. Esto implicó la atención prioritaria de cantones socialmente vulnerables y de territorios con problemas de cobertura en sus servicios básicos.

• En lo que se refiere a la eficacia se constata que, de acuerdo con un estudio de evaluación de las líneas de crédito que lleva adelante el Banco del Estado, el 83 % de los consultados afirmó que la inversión en programas de saneamiento ambiental ha devenido en servicios de alta calidad. Esto supone que al menos 8 de cada 10 proyectos de saneamiento —en la muestra considerada por el estudio— se encuentren funcionando y entregando un mejor servicio que en la situación previa a su realización.

• En lo que respecta a la eficiencia, medida en función del tiempo previsto en los

contratos de crédito para realizar los desembolsos, con su ejecución real, se observa que la mayor parte de los créditos contratados (99,93 %) ha respetado los términos contractuales en materia de programación de sus desembolsos. Esto significó el cumplimiento de los términos previstos para los contrayentes como condicionantes para los desembolsos (informes de avance del proyecto, informes de ejecución de los créditos, etc.), y la entrega oportuna de los recursos financieros comprometidos en los contratos.

• En cuanto al impacto, generalmente se observa una estrecha relación entre el volumen de recursos invertidos y mejoramientos en los niveles de cobertura de cada uno de los servicios considerados. Sin embargo, la relación entre estas dos variables se encuentra condicionada por los contextos territoriales en que se efectiviza la inversión (capacidad para gestionar los recursos invertidos, problemas de provisión preexistentes, entre otros), por lo que el cambio en la cobertura no puede ser atribuido a esta inversión sin recurrir a estudios más exhaustivos, con levantamientos específicos. Se vuelve necesario llevar adelante nuevos y más acotados ejercicios de evaluación de impacto, que permitan una cuantificación más precisa.

6

29

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I

ANEXO

Metodología

Para este ejercicio en particular, se pretende contrastar las posibles diferencias observadas entre las proporciones de hogares que tienen cobertura de agua potable, alcantarillado y recolección de basura, al comparar dos muestras tomadas para la elaboración de la ENEMDU, en los meses de diciembre. Simultáneamente, el análisis pretende cuantificar la variación de cobertura de cada necesidad básica, en función del monto de inversión colocado.

Para una mejor documentación, la metodología utilizada se detalla en los siguientes términos:

Si llamamos pA a la proporción de individuos que tienen cierta característica en una muestra A y pB , a la proporción de individuos que tienen la misma característica en una muestra B, el contraste anterior es equivalente a formular:

Definimos las proporciones de cada muestra como pA= XA ⁄ nA y pB= XB ⁄ nB donde xA y xB representan el número de individuos que tienen la característica de interés en las muestras A y B, y nA y nB representan el número de individuos en las muestras A y B, respectivamente.

El intervalo de confianza, a nivel 1 – α, para pA – pB viene dado por la expresión

Donde z(α ⁄ 2) es el valor que, en una distribución normal estándar, deja a su derecha un área de α ⁄ 2.

El estadístico de contraste para el test será:

Una buena aproximación para p’P sugerida por la literatura, es

7

nA p’A + nB p’BnA + nB p’P=

H0 : pA = pB

H1 : pA ≠ pB{

(p’A – p’B ) ± z(α ⁄ 2)p’A (1 – p’A ) (p’B (1 – p’B )

nA nB+

z* =p’A – p’B

p’P (1 – p’P ) 1 1 + nA nB( )

30

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

BIBLIOGRAFÍA

Ministerio de Desarrollo Urbano y Vivienda, Subsecretaría de Agua Potable y Saneamiento Básico. (2002). Política Nacional de Agua y Saneamiento. Quito.

República del Ecuador. (2009). Plan Nacional para el Buen Vivir 2009-2013. Quito.

Banco del Estado. (2008). Documento conceptual del PROMADEC-PDM. Quito.

Análisis y Desarrollo Social Consultores. (2008). Guía de Evaluación de Programas y Proyectos Sociales. Madrid: Plataforma ONG de Acción Social.

Ede Jorge Ijjasz. (2007). Perspectivas Regionales sobre el Saneamiento y la Higiene. Cali: Banco Mundial.

Subsecretaría de Agua Potable y Saneamiento Básico. (2007).http://www.habitatyvivienda.gob.ec/subsecretaria-de-agua-potable-y-saneamiento/.

Misión de WSP. (2007). Saneamiento para el desarrollo. ¿Cómo estamos en 21 países de América Latina y el Caribe. Perú: LEBEL S. A. C.

María Fernanda García. (2012). Consultoría Estudio de Evaluación de Resultados de los Programas de Financiamiento del Banco del Estado. Quito: Banco del Estado.

Banco del Estado. (2010). Informe PROMADEC PDM I - Programa de asistencia técnica. Quito.

Ministerio de Ambiente, Vivienda y Desarrollo Territorial, Dirección de Agua Potable, Saneamiento Básico y Ambiental. (2001). Plan de manejo de aguas residuales municipales. Ecuador.

Banco del Estado - CAF. (2007). Contrato de préstamo. Corporación Andina de Fomento y República del Ecuador.

Ministerio de Desarrollo Urbano y Vivienda. (2008). Reglamento Operativo del PROMADEC. Quito.

Banco del Estado. (2008). Reglamento interno de la unidad de gestión para la ejecución del PROMADEC-PDM. Quito.

Banco del Estado - MIDUVI. (2013). Canasta de Proyectos para el PROMADEC I.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

8

32

ESTUDIO DE EVALUACIÓN DE RESULTADOS del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC Icuadernos trabajode

El Banco del Estado tiene por misión impulsar el desarrollo sostenible de los territorios, mediante la oferta de soluciones financierasyserviciosdeasistenciatécnicaquepromuevanel mejoramiento de la calidad de vida de la población. Uno de los aspectos clave para lograrla, es llevar adelante ejercicios continuos de monitoreo y evaluación de sus programas y productos, posibilitándose así la identificación adecuada yoportuna de aquellas prácticas que favorecen la consecución de objetivos en el corto, el mediano y el largo plazo.

Bajo esa premisa, el Banco del Estado pone a disposición del público la serie Cuadernos de Trabajo. Se trata de una iniciativa a través de la que se generarán y publicarán diferentes análisis y estudios precisamente orientados a mostrar la manera en que el quehacer de la institución se materializa en productos y programas con diferentes niveles de impacto sobre los territorios en que se enmarcan. Es así que, este Estudio de evaluación de resultados del Programa de Saneamiento Ambiental para el Desarrollo Comunitario, PROMADEC I constituye el primer número de una serie que se espera que contribuya en un mayor entendimiento y en una difusión informada del trabajo del Banco del Estado.