2010 2013 - » geam · unidas para el desarrollo (pnud) y la unión europea. durante los 3 años...

1

Hacia la instalación de la Evaluación en el Sector Público

2010

_20

13A

ccio

nes

PROGRAMA DE DEMOCRACIA

Calidad en la Gestión Pública

Proyecto “Evaluamos para Mejorar”

Equipo geAm

Dirección Ejecutiva Jorge Abbate

Coordinación de Programa Carmen Romero

Coordinación de Proyecto Milciades Flecha

Colaboradores del Proyecto

Internacionales Emma Rotondo Perú

Heide Berner Chile

Marcela Guzman Chile

Marisa Weinstein Chile

Alejandra Faúndez Chile

Daniel Santin España

Pedro Canales Chile

Guillermo Cruces Argentina

Lorena Alcazar Chile

Gonzalo Robaina Uruguay

Antonio Pozo Perú

Nacionales Dominique Demelene

Nimia Torres

Zulma Sosa

Friedhelm Guttandin

Asistente de Programa Zunilda Ortiz

Débora Aquino

Comunicación, edición Natalia Ruiz Díaz Medina

Adolf Sauer

Carlos Sosa

Hugo Casco

Corrección de estilo Sandra Bosch

Diseño Celeste Prieto

Setiembre, 2013Asunción, Paraguay

“Esta publicación ha sido posible gracias al apoyo de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID). Los conceptos y opiniones expresadas en la mis-ma corresponden a los autores y no reflejan necesariamente el punto de vista de USAID ni del Gobierno de los Estados Unidos.”

Hacia la instalación de la Evaluación en el Sector Público

DE UNA ETAPA A OTRA

2010

_20

13A

ccio

nes

6

Esta iniciativa fue posible gracias a las siguientes instituciones y personas

Unidad de Economía Social del Ministerio de Hacienda• VerónicaSerafini Coordinadora de la Unidad de Economía Social

• VíctorImas Consultor

• AnaRojas Técnica en Evaluación de Programas

Dirección General de Presupuesto del Ministerio de Hacienda• AnaMaríaFernández Directora

• PabloBenítez Jefe del Departamento de Evaluación del Gasto Público

• MonserratDíazSoler Jefa del Departamento de Evaluación del Gasto Público

• RogelioIbáñez Técnico Analista

Red Paraguaya de Evaluación - Directiva fundacional

• PabloBenítez

• AndreaWehrle

• EduardoSosa

• LauraDelgadillo

• JavierChamorro

7

Presentación ................. 9

Introducción ................ 13 El desafío institucional ................. 13

Objetivos comunes ........................ 13

Contar para replicar ...................... 15

La experiencia ............. 17Los primeros pasos ........................ 17

De las necesidades a la acción ....... 18

Los pilares de la experiencia ........ 18

Capacitación. Aprender haciendo .. 20

Evaluación. Las Experiencias piloto ... 23

Difusión. A la vista pública ............ 32

Capacidad instalada ...................... 34

Con enfoque de equidad .............. 36

Emprender y construir en conjunto .. 37

Terreno fértil para la intervención .. 37

Los aprendizajes ........39Las bases para avanzar ................ 39

Mirando hacia el futuro ................. 40

Cúmulo de aprendizajes ................ 41

Anexos .................... 43 Anexo 1 ................................. 45

Egresados con doble certificación del “Primer y Segundo Curso Modular” 2010 y 2011.

Anexo 2 ................................. 46

Egresados con certificación del “Segundo Curso Modular” 2011.

Anexo 3 ................................. 47

Egresados con certificación del “Primer Curso Modular” 2010.

Anexo 4 ................................. 48

Socios Fundadores de la REPAE

Siglas y acrónimos .................... 49

Índice

9

PresentaciónLa democracia en Paraguay, una expresión que tiene mucho más de deseo que logros tangibles, fue el desafío que motivó a Gestión Ambiental (geAm) a movilizar su equipo de profesionales para vincularse activamente con las instituciones del Gobierno, con las organizaciones de la sociedad civil y con sectores empresariales que inciden en las políticas públicas, para trabajar articuladamente con ellas, logrando avanzar aceleradamente, y en los últimos años, hacia la mejora sostenida y sostenible de la gestión gubernamental, lo que se ha traducido en condiciones más adecuadas para una efectiva gobernabilidad y gobernanza en el país.

Los vicios y herencias atávicas, presentes en el quehacer político del Paraguay, tienen a la corrupción como uno de sus componentes principales. También al prebendarismo y al clientelismo político, algo que sigue generando ruidos y vaivenes en los clamores de la ciudadanía, destinataria final de las políticas públicas. La ingobernabilidad que generan dichos vicios tiene su amarre en la impunidad que sigue reinando, la que se transforma en correa de transmisión de esa herencia que pasa de Gobierno a Gobierno.

Es común encontrar un funcionamiento en compartimentos estancos en la Administración Pública, la superposición de funciones y una débil coordinación interinstitucional entre las instancias de Gobierno. A esto se le podría añadir la poca consideración ciudadana al trabajo realizado por los servidores públicos, elemento que denota una falta de confianza de

la población en general hacia las instituciones de Gobierno. No puede soslayarse, asimismo, la propia desvalorización y frustración de funcionarios y funcionarias públicas, quienes tienen pocas condiciones de mejora por la falta de sistemas de promoción.

Estas condiciones y éste contexto, y en función a trabajos previos de cooperación desarrollados en los años 2008 y 2009, llevaron al impulso del Programa de Democracia “Calidad en la Gestión Pública” (2010 – 2013), ejecutado por Gestión Ambiental (geAm), con el apoyo de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID).

Así, en conjunto con las instituciones de Gobierno, y sobre la base de las respectivas prioridades y delineamientos de políticas institucionales, el Programa apuntó a la eficiencia y a la transparencia en la gestión gubernamental, como premisas orientadoras, y al desarrollo de instrumentos y herramientas que permitieran (en el mediano y largo plazo) una democracia cualitativamente distinta y mejorada en el país. Mediante la implementación de diferentes modalidades de colaboración técnica se posibilitaron y apoyaron las mejoras en las instituciones públicas, a través del desarrollo de capacidades en funcionarios y funcionarias, promoviendo nuevos enlaces entre las organizaciones públicas y privadas.

Esta cooperación se sustentó en tres enfoques transversales: gestión colaborativa, para la promoción de la cultura de responsabilidad compartida entre la sociedad civil y el Estado

10

para la institucionalización de los cambios, y buenas prácticas de interacción entre organizaciones no gubernamentales (ONGs), entidades públicas y ente cooperante; sostenibilidad, a través del desarrollo de la capacidad del funcionariado público y la adopción de nuevas técnicas, procesos y normas en las instituciones públicas; y género, para la instalación de prácticas que favorezcan esta perspectiva en el contexto institucional público, como demostración de voluntad política para el cambio y formulación de normas y acciones específicas de intervención con equidad de género.

Los ejes fundamentales de trabajo han sido:

•Promoción del Servicio Civil. •Evaluamos para Mejorar. •Apoyo a la Implementación del MECIP -

Modelo Estándar de Control Interno para las Instituciones Públicas del Paraguay.

•Apoyo al Fortalecimiento de la Gestión de Contratos.

•Promoción de las Buenas Prácticas en la Gestión Pública.

•Apoyo a Gobiernos Locales en la Implementación del Servicio Civil.

•Mejora de los Procedimientos Catastrales Municipales.

•Apoyo a la creación del Fondo de Desarrollo Económico y Social para Gobernaciones y Municipios.

•Promoción de la Alianza de Gobierno Abierto.

• Apoyo al Equipo Nacional de Estrategia País.•Apoyo a Paraguay Debate.

El alcance de las intervenciones involucró como contrapartes a diversas instituciones públicas. En muchos casos, la coordinación y articulación entre las mismas fue el eje del trabajo y, en otros, a través de estas instituciones se llegó a otras, atendiendo al carácter de ente rector. A continuación, se citan las principales entidades públicas con las que trabajó el Programa:

•Secretaría de la Función Pública (SFP). •Secretaría Técnica de Planificación (STP). •Ministerio de Hacienda (MH).

- Subsecretaría de Estado de Administración Financiera (SSEAF). - Dirección General de Presupuesto.

- Subsecretaría de Estado de Tributación (SET).

- Unidad de Economía Social (UES).- Unidad de Departamentos y Municipios.- Servicio Nacional de Catastro (SNC).

•Gabinete Civil de la Presidencia de la República.

•Ministerio de Justicia y Trabajo (MJT).•Ministerio del Interior (MI).• Ministerio de Salud Pública y Bienestar Social

(MSPBS).• Secretaría Nacional Anticorrupción (SENAC).• Dirección Nacional de Contrataciones Públicas

(DNCP). •Auditoría General del Poder Ejecutivo

(AGPE).•Unidad Técnica de Modernización de la

Administración Pública (UTMAP).•Municipalidad de Luque.

11

Además de promover el desarrollo de capacidades en las instituciones públicas, el trabajo implicó también alianzas con organizaciones de la sociedad civil: esfuerzos y expectativas compartidas para colaborar en forma conjunta en las diversas instituciones o iniciativas que proyectara el Programa. Estas fueron, principalmente:

•Centro de Análisis y Difusión de la Economía Paraguaya (CADEP).

•Centro de Estudios Judiciales (CEJ). •Centro de Información y Recursos para el

Desarrollo (CIRD).•Centro de Políticas Públicas de la

Universidad Católica (CPP).•DECIDAMOS - Campaña por la expresión

ciudadana. •Desarrollo en Democracia (DENDE). • Instituto Desarrollo (ID).•Semillas para la Democracia (SPD).

También se valora como experiencia positiva y de buena práctica durante el proceso, la alianza con otras cooperaciones, como fue la establecida con la Agencia Española de Cooperación Internacional para el Desarrollo (AECID), el Banco Interamericano de Desarrollo (BID), el Programa de las Naciones Unidas para el Desarrollo (PNUD) y la Unión Europea.

Durante los 3 años del Programa se “hizo camino al andar” pero, a diferencia de los versos, es preciso volver la vista atrás para conocer y asumir que la tarea de cualificar la democracia en el país pasa por encontrar a las instituciones y personas que puedan

hacerse responsables y protagonistas del cambio, y trabajar con sus expectativas y capacidades. Los resultados, que pronto se notan, constituyen la leña que aviva el fuego del deseo de cambio.

El Programa tuvo en cuenta la réplica de experiencias positivas en cada uno de sus proyectos. Por ello, queda testimonio de los impactos positivos y socializamos la experiencia con los documentos que se presentan.

El camino está trazado y las voluntades movilizadas. Resta entonces promover, con más fuerza, la llevada a escala de las transformaciones generadas y encontrar en las demás instituciones la levadura que haga crecer el deseo de una mejora en la gestión pública, con destino a una ciudadanía más satisfecha y conforme con los servicios que prestan las instituciones del Gobierno.

13

MINISTERIO DE HACIENDAEl desafío institucionalEl Ministerio de Hacienda (MH) es la secre-taría estatal que tiene a su cargo adminis-trar el patrimonio y el proceso presupues-tario del Estado paraguayo, así como la formulación y el manejo de su política fiscal y de endeudamiento interno y externo.

Las funciones y la estructura orgánica del MH fueron establecidas por la Ley N° 09/91, ampliada y modificada por la Ley N° 4.394/2011. Entre sus atribuciones destaca la “programación, formulación, ejecución, control y evaluación del proceso presu-puestario del Sector Público”.

Con la implementación de nuevos progra-mas sociales, y el fortalecimiento de otros ya iniciados en periodos anteriores y enfo-cados en el combate a la extrema pobreza, el Gobierno que asumió en el año 2008 puso énfasis en el gasto social. Esto hizo necesario dotar a los gestores de progra-mas de las herramientas idóneas para el seguimiento, monitoreo y evaluación, a fin de valorar los efectos que se logran en la ejecución de los mismos.

Para impulsar esta tarea se creó la Unidad de Economía Social (UES) -mediante la Re-solución MH N° 50/08-, dependiente del

‘‘

’’

La iniciativa apuntó a consolidar una cultura de la evaluación en las instituciones públicas y a potenciar el involucramiento de la sociedad civil en la cogestión de las evaluaciones.

Introducción Acto de apertura del “Primer Curso Modular”, 2010.

14

Gabinete del Ministerio de Hacienda, con el objetivo de “generar mecanismos y pro-cedimientos para el diseño y evaluación de políticas, programas, planes y proyectos de las áreas sociales, de empleo, agricultura familiar campesina y otras que correspon-dan al ámbito económico-social”.

De esta manera, la UES tomó el desafío de acompañar y promover la instalación de procesos de evaluación en la implementa-ción de las políticas y programas públicos a través de la asistencia técnica, buscando que la evaluación se constituyera en una práctica institucionalizada y una herra-mienta de gestión pública.

COOPERACIÓN Objetivos comunesEl Ministerio de Hacienda (MH), a través de la Unidad de Economía Social (UES), asu-mió el reto de apoyar la instalación de las prácticas de evaluación permanente en los programas sociales, con la asistencia técni-ca a equipos de trabajo y gestores de los mismos.

Si bien los programas contaban con los ins-trumentos básicos para el seguimiento y el monitoreo, se detectó la demanda de una mejora y ajuste, acorde con los avances en el tema.

Ante esta demanda técnica, la UES desa-rrolló el Proyecto “Evaluamos para Mejo-rar”, conjuntamente con la organización no gubernamental Gestión Ambiental (geAm), y contando con la cooperación de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID), enmarca-da en el Programa de Democracia “Calidad en la Gestión Pública”.

El objetivo de la iniciativa apuntó a con-solidar una cultura de la evaluación en las instituciones públicas y a potenciar el involucramiento de la sociedad civil en la cogestión de las evaluaciones, el control y la participación en la rendición de cuentas para promover la transparencia.

De esta manera, “Evaluamos para Mejo-rar” articuló los esfuerzos del MH y de la sociedad civil para avanzar en el fortale-cimiento de las capacidades, tanto de los evaluadores como de los gestores de los programas y proyectos, para la efectiva uti-lización de la evaluación como instrumento de gestión.

15

SISTEMATIZACIÓN Contar para replicar “Evaluamos para Mejorar” fue una expe-riencia innovadora tanto en su metodolo-gía, como en la estrategia utilizada, los ejes y los actores que intervinieron en ella, por lo que una sistematización de la misma se consideró necesaria y oportuna.

Este proyecto logró motivar tanto al sector público como al privado hacia el objetivo de la evaluación. Lo hizo mediante la capa-citación presencial de alto nivel, con exper-tos/as internacionales y locales, el enfoque de “aprender haciendo” (desde la teoría a la práctica en el proceso de aprendizaje), a través de concursos para el financiamiento de experiencias concretas y con la confor-mación de una red de profesionales eva-luadores, instancia de retroalimentación e impulso tanto de la teoría como de la prác-tica evaluativa.

Esta innovación logró construir un am-biente colaborativo propicio entre el sector público y el privado, canalizando las moti-vaciones de ambos para dar pasos impor-tantes en favor de la práctica evaluativa y la formación de profesionales con conciencia social y crítica.

Por esta razón, la sistematización busca ana-lizar lo que se realizó, las razones que moti-varon el accionar de esta forma y no de otra,

los resultados que se obtuvieron y cómo se repartieron los beneficios del Proyecto. Así, al explicar por qué se obtuvieron estos resultados, quedan lecciones aprendidas para las acciones futuras, como aprendizaje para quienes se involucraron en el proceso desde diversos aspectos y para otras per-sonas, organizaciones o instituciones que quieran apoyarse en la experiencia para el desarrollo de sus propios proyectos.

Con el objetivo de abarcar ampliamente la experiencia, la metodología utilizada in-cluyó una recopilación documental de la bibliografía generada por el Proyecto (in-formes de proceso, resumen de actividades desarrolladas, materiales publicados…), así como entrevistas a actores clave y el aná-lisis de los resultados de la Autoevaluación del Proyecto “Evaluamos para Mejorar“, realizada en febrero del año 2012. Esta autoevaluación sustentó su análisis en tres ejes transversales: gestión colaborativa, sostenibilidad y género. Entre sus resulta-dos destacan las valoraciones positivas de los participantes y las contrapartes de la ini-ciativa, así como la identificación de bue-nas prácticas y de aspectos que deberían tenerse en cuenta en iniciativas similares.

Esta sistematización abarca las acciones emprendidas en el marco del Proyecto des-de Setiembre de 2010 a junio de 2013.

Estudiantes del “Segundo Curso Modular” durante el desarrollo del módulo Niñez.

17

Los primeros pasosDesde la Unidad de Economía Social (UES) se buscó, por una parte, apoyar a los pro-gramas públicos en la aplicación de mo-delos de gestión, con una visión integral en el proceso de ejecución de las políticas sociales y, por otra, intervenir -en particu-lar- en la fase de evaluación permanente. Esto permitiría medir los efectos de los pro-gramas y proyectos y ajustarlos en base a la información arrojada por la evaluación que, a su vez, redundaría en una gestión más eficiente y de mayor transparencia en el uso de los recursos públicos.

Teniendo en cuenta los objetivos trazados, se observó el posible aumento en la de-manda de profesionales evaluadores, ante lo cual el sector privado carecía de suficien-te capacidad para dar respuesta al reque-rimiento. En general, el mercado en esta área ha sido muy restringido, tanto por el lado de la oferta como por el de la deman-da de evaluadores.

Como situación de partida para el desarro-llo de “Evaluamos para Mejorar”, se estimó conveniente articular a quienes hacen la evaluación con quienes conducen y ejecu-tan los programas y proyectos evaluados.

En general, los gestores cuyos programas son evaluados toman la evaluación como un “control que busca culpables”, no aprendizajes, mientras que quienes eva-

La experiencia lúan se convierten en “jueces que tienen la última palabra” y el trabajo se justifica sólo si encuentran “problemas”; en ambos casos se trata de actitudes no propositivas.

Por ello, a través de la iniciativa, se impulsó un proceso dinámico, bajo la premisa de la objetividad y el aprendizaje, que permitie-ra mejorar o corregir las prácticas así como identificar logros, no sólo para el programa en particular, sino también para poder ser replicados.

Esta situación planteaba resultados tanto para el ámbito público como para el priva-do: instalar capacidades, aprender hacien-do, cambiar paradigmas desde la práctica y ampliar el horizonte de los propios eva-luadores.

Con el proceso iniciado, desde la UES se verificó el vínculo con la Dirección Gene-ral de Presupuesto (DGP) del MH, ya que existían tareas previas y conjuntas en el impulso de una línea de trabajo de interés gubernamental: la Gestión por Resultados. En efecto, el Ministerio de Hacienda, por medio del citado reparto, buscaba instalar institucionalmente el Presupuesto por Re-sultados (PPR)1 como un proceso gradual en base a tres herramientas principales: Evaluación de Programas, Balance Anual de Gestión Pública (BAGP) e Indicadores de Desempeño (ID).

1 http://www.hacienda.gov.py/web-presupuesto/ppr/

Capacitación complementaria: “Taller sobre Medición de eficiencia de la gestión pública”, 2011.

18

Este proceso de instalación del PPR, promo-vido por la DGP, también recibió colabora-ción del Proyecto, a través de la iniciativa conjunta.

De las necesidades a la acción Paraguay arrastra una debilidad institucio-nal: históricamente, no se logró la plena instalación de modelos de gestión orien-tados a la consecución de resultados, pre-valeciendo un desempeño gubernamental poco eficiente, estructurado sobre la base del prebendarismo y la clientela política. A esto se añade la persistencia de la disper-sión, la desarticulación y la superposición de roles en la administración pública.

Todo lo expuesto anteriormente ha he-cho que la evaluación, como herramienta de gestión, no se considere una norma en todos los estadios del sector público. Se evalúan, mayormente, los programas que cuentan con financiamiento externo, bien por obligaciones contractuales de desem-bolso de fondos, o porque la evaluación fue pensada desde su diseño y se previeron recursos necesarios.

Otros elementos que se exponen como causa de la escasa utilización de la evalua-ción como herramientas de gestión, son la propia cotidianeidad del funcionariado de-dicado a “apagar incendios” y la limitada capacidad de las instancias de planificación

de las instituciones. Estos elementos difi-cultaban pensar en un modelo diferente de gestión integral que pudiera visibilizar el ciclo completo, permitiendo medir resulta-dos y aprovechar oportunidades de mejora.

En atención a este contexto fue necesaria la intervención de profesionales externos a la institución, especialistas entrenados y en-trenadores, para contribuir a la generación de sinergias, movilizar voluntades y dotar a ambas partes (evaluadores y evaluados) de las capacidades requeridas.

Los pilares de la experiencia El Proyecto “Evaluamos para Mejorar” se sustenta en tres pilares fundamentales para avanzar en sus objetivos: capacitación, eva-luación y difusión; ejes interrelacionados en la ejecución de las acciones.

Alumnos de Técnicas Cuantitativas “Segundo Curso Modular”, 2011.

19

Instalar capacidades, aprender haciendo, cambiar paradigmas desde la práctica y ampliar el horizonte de los propios evaluadores.

Capacitación

“Eva

luam

os p

ara

mej

orar

”

Generar capacidades de evaluación en el sector público y privado, a través de la formación continua.

Evaluación

Apoyar la realización de experiencias concretas de evaluación, con el enfoque de Presupuesto por Resultados.

Difusión

Difundir resultados del proceso como mecanismo de aprendi-zaje, replicabilidad y transparencia acerca de la gestión de los programas públicos. ‘‘

’’

“Seminario Internacional de Presupuesto por Resultados”, 2011.

20

Capacitación Aprender haciendoUno de los productos desarrollados fue el “Curso Modular en Evaluación de Pro-gramas Sociales”, semipresencial, dirigido tanto a personas vinculadas a la gestión de diversos programas sociales del sector pú-blico como a evaluadores externos, profe-sionales provenientes de organizaciones de la sociedad civil. Este curso contó con una plataforma virtual (http://www.geam.org.py/moodle/) con la presencia de docentes extranjeros y nacionales, con el acompaña-miento de una tutoría permanente por par-te de la experta internacional en evaluación Emma Rotondo.

Perfiles docentesEmma Rotondo Docente de los Módulos “Evaluaciones Rápidas y Análisis de Resul-tados”.

Coordinadora regional del área de Evalua-ción de alcances e impacto de la Platafor-ma Regional de Desarrollo de Capacidades en Evaluación y Sistematización de América Latina y el Caribe (PREVAL), antropóloga, evaluadora y coach (en formación). Capaci-tadora en Planificación, Seguimiento, Eva-luación y Sistematización (PSES); facilita-dora en procesos participativos de gestión del cambio y aprendizaje social. Autora de

varios textos sobre PSES y lucha contra la pobreza, indicadores sociales y metodolo-gías participativas.

Dominique Demelenne Docente del Módulo “Técnicas Cualitativas”.

Coordinador del Proyecto de Investigación Diagnostico Participativo en Comunidades Indígenas de Tape’a (Taller Pedagógico Alternativo). Sociólogo por la Universidad Católica de Lovaina (Bélgica), con Proyecto de investigación doctoral aprobado por la misma universidad. Realizó trabajos de investigación, planificación y evaluación en la Fundación DEQUENI, la Fundación Proyecto Hombre, la Universidad Católica, el Centro de Información y Recursos para el Desarrollo (CIRD), el Fondo de las Naciones Unidas para la Infancia (UNICEF), el Programa de las Naciones Unidas para el Desarrollo (PNUD), la organización Luna Nueva, la Organización Internacional del Trabajo (OIT), el Banco Interamericano de Desarrollo (BID), el Banco Mundial o la Comisión Europea, entre otros.

Daniel Santín González Docente del Módulo “Técnicas Cuantitativas”.

Licenciado en Ciencias Económicas y Empre-sariales y Doctor en Ciencias Económicas y Empresariales por la Universidad Compluten-se de Madrid (España). Máster en Análisis de Datos en Investigación Social por la Escuela de Estadística de la misma universidad.

Acto de apertura del “Segundo Curso Modular”, 2011.

21

“Segundo Curso Modular”, 2011.

Actualmente es Profesor Titular en el De-partamento de Economía Aplicada VI (Ha-cienda Pública y Sistema Fiscal) de la Uni-versidad Complutense de Madrid. Es Jefe de Estudios de Investigación en el Instituto de Estudios Fiscales del Ministerio de Eco-nomía y Hacienda de España, en donde se encuentra temporalmente en Comisión de Servicio.

Pedro Canales Contreras Docente del Módulo “Derechos Humanos de la Niñez”.

Psicólogo Social por la Universidad de Chile y Doctor en Psicología; Programa de Psico-terapia Estratégica Breve (Capsis). En cuan-to a la docencia, ha sido Relator en temas de Políticas Sociales (Universidad de Chile); Psicología de la Comunicación, Mediación y Conflictos (Universidad Andrés Bello y del Pacífico); Reforma Procesal Penal y Comu-nicación (Universidad de Concepción) y Fa-milia y Comunicación, en el Diplomado en Mediación Familiar (Universidad del Pacífi-co). De los trabajos realizados en Paraguay destaca el asesoramiento a la Dirección en la Fundación Don Bosco Roga – Paraguay (evaluación y diseño de programas de in-tervención social y capacitación laboral de cobertura nacional), y el diseño organiza-cional y comunicacional para la Fundación DEQUENI – Paraguay, entre otros.

Marisa Weinstein Docente del Módulo “Género y Derechos Humanos”.

Antropóloga social de la Universidad de Chile, se desempeña como consultora internacional en gestión, formulación y evaluación de proyectos y programas de desarrollo, y en el diseño y evaluación de políticas sociales. Ha trabajado con organismos internacionales y nacionales y ha integrado paneles de Evaluadores de Programas Públicos de la Dirección de Presupuestos del Gobierno de Chile. Se desempeñó como investigadora asociada de la Facultad Latinoamericana de Ciencias Sociales (FLACSO)-Chile, realizando investigaciones sobre género, juventud, políticas públicas y participación ciudadana. Trabajó en el sector público en las áreas de medio ambiente y participación ciudadana.

Un total de 50 personas, 35 de ellas del sector público y 15 de la sociedad civil, cul-minaron exitosamente este curso, realizado de marzo a octubre de 2011, con una car-ga horaria de 120 horas presenciales más 20 horas virtuales.

Durante su desarrollo, se diseñó entre los par-ticipantes el “Concurso de Fondos Semilla”, con el objetivo de poder financiar evaluacio-nes a través de Términos de Referencia y Pro-tocolos para llevarlas a cabo. Una vez culmi-nado el curso, las cuatro mejores propuestas fueron financiadas para ser ejecutadas.

22

Esta puesta en práctica de las evaluaciones permitió reforzar el concepto de “aprender haciendo”, pues las propuestas a concur-sar se realizaban como complemento de las clases presenciales, con la tutoría y el acom-pañamiento de la experta internacional.

Cabe mencionar que, anteriormente, en el proceso inicial del proyecto (febrero-septiembre 2010), se desarrolló un primer curso modular con las mismas característi-cas de beneficiarios, carga horaria, modali-dad de trabajo, docentes internacionales y nacionales, y con un fondo concursable al final que permitió que se realizaran 5 eva-luaciones pedagógicas.

Apoyo técnico y formación complementariaDentro de este eje de capacitación, se eje-cutó también la asistencia técnica a ges-tores de varios programas, el acompaña-miento profesional y la capacitación en la gestión y control de calidad de los informes de evaluación. Asimismo, se elaboró un ins-tructivo para incorporar el análisis de géne-ro en las evaluaciones, con la colaboración complementaria de ONU Mujeres (Entidad de las Naciones Unidas para la Igualdad de Género y el Empoderamiento de la Mujer).

El entrenamiento e intercambio fue perma-nente, con espacios de formación comple-mentaria, entre ellos, el “Taller de Rendi-ción de Cuentas”, con una carga horaria de 20 horas. Éste fue desarrollado por el Centro de Implementación de Políticas Públicas para la Equidad y el Crecimien-to (CIPPEC), y se capacitó en sistemas de transparencia y de rendición de cuentas en América Latina, y en cómo socializar las buenas prácticas, contando con la partici-pación de 70 referentes del sector público y privado, entre directivos y técnicos.

Por otro lado, para la implementación del Presupuesto por Resultados (PPR) se rea-lizaron numerosos talleres y espacios de entrenamiento y formación durante el pro-ceso de inducción al personal gestor impli-cado en esta iniciativa.

Dentro de este marco, la experta interna-cional en PPR, Heidi Berner, trabajó en el entrenamiento de los técnicos de la DGP, para afrontar los desafíos de la implemen-tación de la Gestión por Resultados en sus tres herramientas: Evaluación de Progra-mas, Balance Anual de Gestión Pública (BAGP) e Indicadores de Desempeño (ID). Este entrenamiento y asesoramiento se llevó a cabo desde finales del año 2011 a fines del 2012, con visitas presenciales, vi-deoconferencias y tutorías a través de co-municación electrónica.

Plataforma virtual de aprendizaje de los cursos modulares http://www.geam.org.py/moodle/

23

“Primer Curso Modular”, 2010.

Entre los temas desarrollados en las jorna-das de capacitación se encuentran: la me-todología, los procedimientos, el formato de informe de evaluación, la elaboración de antecedentes de los programas públicos a cargo de cada entidad evaluada, el lla-mado a concurso y la conformación de los comités de selección y evaluación.

Durante la implementación de las Eva-luaciones de Programas Públicos, a través de PPR, el proceso de seguimiento y ase-soramiento a evaluadores externos estu-vo acompañado por la citada profesional extranjera, a través de videoconferencias y encuentros presenciales, junto con el co-mité de seguimiento conformado por los gestores de programas y evaluadores, con-virtiéndose éste en un espacio de continua retroalimentación entre las partes.

También se desarrollaron talleres de for-mación y práctica en la “Metodología del Marco Lógico para el sector público”, con el concurso de los expertos Heidi Berner y Esteban Almada, para reforzar los progra-mas públicos que serían evaluados y con el objetivo de actualizar sus instrumentos de gestión. Igualmente, Marcela Guzmán, ex-directora de Presupuesto de Chile, trabajó de manera presencial con los técnicos de la DGP en lo que respecta a los Indicadores de Desempeño y el Balance Anual de Gestión Pública.

Otro espacio de formación habilitado tuvo como monitor a Daniel Santón, especialista y académico español, quien impartió cur-sos complementarios de “Técnicas Cuanti-tativas para la medición de la eficiencia en el sector público”, con la participación de técnicos de las distintas instituciones invo-lucradas en el PPR, además de profesiona-les de la sociedad civil.

Evaluación Las experiencias pilotoEn la fase inicial del Proyecto se desarrolla-ron las primeras evaluaciones, en formato pedagógico y como experiencia piloto y de aprendizaje, a través del fondo concursa-ble para los equipos de trabajo del “Primer Curso Modular”.

24

Primeros programas evaluados

Nombre del programa Institución Año

“Programa Emblemático Gubernamen-tal Agua y Saneamiento”

Servicio Nacional de Saneamiento Ambien-tal (SENASA). Ministerio de Salud Pública y Bienestar Social (MSPBS)

2010

“Programa Emblemático Unidades de Salud de la Familia (USF)”

Ministerio de Salud Pública y Bienestar Social (MSPBS)

2010

“Programa Emblemático Seguridad Ali-mentaria para la Agricultura Familiar”

Ministerio de Agricultura y Ganadería (MAG)

2010

“Programa Emblemático Tekoporâ (TMC)”

Secretaría de Acción Social (SAS) 2010

“Evaluación del Proceso de Imple-mentación de 33 Unidades Básicas de Saneamiento (UBS)”

Servicio Nacional de Saneamiento Ambien-tal (SENASA). Ministerio de Salud Pública y Bienestar Social (MSPBS)

2010

“Diseño metodológico y estructura institucional para la atención de la pro-blemática del trabajo infantil a partir de la experiencia del Programa Abrazo y la articulación con el Programa Tekoporâ”

Secretaría Nacional de la Niñez y la Ado-lescencia (SNNA). Secretaría de Acción Social (SAS)

2010

Participantes del módu-lo Técnicas Cualitativas, “Segundo Curso Modu-lar”, 2011.

25

En el marco del eje de evaluación en la segunda fase, se acompañó, a través de asistencia técnica y asesoramiento, la eje-cución de 12 evaluaciones en sus distintas metodologías, promovidas tanto desde la UES como desde la DGP.

Las evaluaciones contaron con el apoyo del Proyecto tanto desde la identificación de la demanda, la formulación de Términos de Referencia (TDRs), el sistema de concurso y la selección de equipos de evaluación, como en la tarea de asesorar a los equipos de gestión en el acompañamiento de la evaluación y en la promoción de la presen-tación pública de resultados.

Según las necesidades particulares, no sólo del programa público evaluado sino tam-bién del interés político estratégico del Go-bierno, se trabajaron diversas modalidades y/o tipologías de evaluación. Esto permi-tió experimentar y desarrollar procesos de aprendizaje con cada tipo de evaluación, desde la determinación del objetivo y al-cance, la elaboración de los TDRs y el pro-ceso de seguimiento a la ejecución, hasta los resultados que arrojara para dar paso a posibles ajustes.

Participantes del módulo Género, “Segundo Curso Modular”, 2011.

Participante del “Taller de Rendición de Cuentas”, 2011.

26

Evaluaciones ejecutadas durante el periodo 2011-2012

Tipo deevaluación

Programa evaluado Objetivos

Evaluaciones de

Presupuesto por

Resultados (PPR)

Año 20122

“Programa Abrazo de atención a niños/as en situación de calle”. Secretaría Nacional de la Niñez y la Adolescencia (SNNA)

Evaluación del componente de Apoyo Familiar

“Mantenimiento Vial Rutinario con Microempresas”. Ministerio de Obras Públicas y Comunicaciones (MOPC)

Determinar en qué medida la iniciativa nacional "Mantenimiento Vial Rutinario de Caminos con Microempresas" promueve el mantenimiento vial, la generación de empleo y el arraigo en el área de influencia

“Piloto de la Campaña Nacional de Alfabetización realizada en el año 2011”. Ministerio de Educación y Culto (MEC)

Determinar si la estrategia comunicacional tiene en cuenta las motivaciones internas y externas de la población objetivo para ingresar al proceso de alfabetización

“Unidades de Salud de la Familia (USF)”. Ministerio de Salud Pública y Bienestar Social (MSPBS)

Determinar la efectividad de las estrategias comunicacionales implementadas por las Unidades de Salud de la Familia USF del Bañado Sur de Asunción, para la detección precoz de cáncer de cuello uterino

2 A través de un llamado a concurso se presentaron propuestas de evaluación de programas. Las mejores propuestas fueron financiadas mediante un fondo para cubrir los costos que conlleva aplicar la evaluación. Fue dirigido únicamente a equipos integrados por quienes fueron parte del curso de evaluación, complementando el entrenamiento teórico y práctico. Contó con una tutoría internacional para su seguimiento y apoyo, además del equipo del proyecto.

Firma de Convenio entre la Dirección Ge-neral de Presupuesto, la Unidad de Economía Social y geAm, para el apoyo al PPR.

27

Evaluaciones de

Presupuesto por

Resultados (PPR)

Año 2011

“Programa Unidades de Salud de la Familia (USF)”. Ministerio de Salud Pública y Bienestar Social (MSPBS)

Evaluación del diseño y la gestión, eficacia, eficiencia y justificación de la continuación del programa

“Subprograma de Construcción, Rehabilitación y Conservación de Caminos Vecinales Rurales”. Ministerio de Obras Públicas y Comunicaciones (MOPC)


“Subprograma de Construcción, Rehabilitación y Mejoramiento de Empedrados y Obras de Arte”. Ministerio de Obras Públicas y Comunicaciones (MOPC)


“Subprograma de Provisión de Textos y Materiales Didácticos”. Ministerio de Educación y Culto (MEC)


Capacitación complementaria: “Taller sobre Evaluación de Impacto”, 2012.

28

Evaluaciones de

Presupuesto por

Resultados (PPR)

Año 2012

“Programa de Extensión Agraria”. Ministe-rio de Agricultura y Ganadería (MAG)


“Programa de Administración del Sistema Tributario”. Subsecretaría de Estado de Tributación. Ministerio de Hacienda (MH)


“Subprograma de Control y Vigilancia de Enfermedades Transmitidas por Vecto-res. Servicio Nacional de Erradicación del Paludismo (SENEPA)”. Ministerio de Salud Pública y Bienestar Social (MSPBS)


Evaluaciones

rápidas (2012)

“Programa Servicio Nacional de Promoción Profesional (SNPP) y Sistema Nacional de Formación y Capacitación Laboral (SINA-FOCAL)”. Ministerio de Justicia y Trabajo (MJT)


Evaluación de

Impacto (2012)

Ley de Pensión Alimentaria de Adultos Mayores (LAM). Ministerio de Hacienda (MH)

Evaluación de impacto de la Ley de Pen-sión Alimentaria para Adultos Mayores en situación de pobreza (3728/09)

Amplia difusión de las evaluaciones de los programas públicos, a través de publicaciones impresas.

29

Puesta en prácticaLas evaluaciones pedagógicas constituye-ron una novedad para los participantes del “Curso Modular”, ofreciéndoles una opor-tunidad única para poner a prueba los co-nocimientos adquiridos a lo largo de los seis módulos desarrollados. Estas evaluaciones fueron ejecutadas por equipos mixtos (sec-tor público y privado) bajo la coordinación de personas vinculadas a los programas evaluados, garantizando de esta manera la provisión de información y la posibilidad de utilización de los resultados.

Igualmente, se conformó un comité técni-co para el seguimiento, monitoreo y acom-pañamiento de estas evaluaciones. Esta tarea se desarrolló a través de reuniones de trabajo periódicas, intercambios por me-dios electrónicos y talleres de capacitación con la tutora internacional sobre los mé-todos de organización de la información recopilada, redacción de los hallazgos, las conclusiones y recomendaciones. Se con-cluyó con la entrega de informes, resúme-nes ejecutivos y, en algunos casos, vídeos de presentación.

Además de estas evaluaciones pedagógi-cas, se apoyó la “Evaluación del Servicio Nacional de Promoción Profesional (SNPP) y el Sistema Nacional de Formación y Capaci-tación Laboral (SINAFOCAL)”, dependientes del Ministerio de Justicia y Trabajo (MJT).

Se hizo con la metodología de evaluación rápida y con el objetivo de contar con un sustento de lo que fue la evaluación de impacto. Ambas instituciones públicas es-tán encargadas de la capacitación laboral de jóvenes y adultos, tanto para encontrar un primer empleo como en casos de rein-serción laboral de jóvenes en situación de pobreza.

Cada una de las experiencias de evaluación significó importantes esfuerzos gerencia-les para dejar capacidad instalada en las metodologías de evaluación, de gestión y en el control de calidad de los resultados. En ese sentido, se puso especial atención en la “Evaluación de Impacto de la Ley de Pensión Alimentaria de Adultos Mayores (LAM)”, ejecutada en colaboración con el experto argentino Guillermo Cruces.

Por ser un equipo internacional el que de-sarrolló la evaluación, ya en los Términos de Referencia del llamado se estableció una dinámica complementaria de entrenamien-to a profesionales locales, a fin de transferir la técnica y la metodología desde la etapa de planificación. Para el efecto, se confor-mó un equipo técnico nacional que funcio-nó de soporte para el trabajo de planifica-ción y de campo, además de profundizar en los conocimientos de la citada metodo-logía, casi netamente cuantitativa y basada en encuestas representativas.

Gonzalo Robaina, docente del módulo Taller sobre ne-gociación, “Primer Curso Modular”, 2010.

30

La UES gestionó fondos adicionales y pudo ampliar esta evaluación desde la mirada cualitativa, consiguiendo de esta manera una visión integral de los efectos que ge-nera, en la vida de nuestros adultos mayo-res, la transferencia de recursos públicos. Esta evaluación cualitativa fue ejecutada por Friedhelm Guttandin, antropólogo de conocida trayectoria en nuestro país por sus aportes en materia social. La coopera-ción provino del Banco Interamericano de Desarrollo (BID), a través de un fondo no reembolsable destinado de manera exclu-siva a la realización de cinco evaluaciones de impacto y dos evaluaciones con la me-todología de “Encuesta de Monitoreo del Gasto Público” (PETS, según sus siglas en inglés). El Proyecto “Evaluamos para Mejo-rar” apoyó la elaboración participativa de los TDRs de las siete evaluaciones, con la asesoría de expertos internacionales.

Con metodología PPRComo parte del proceso de instalar prácticas sistemáticas de evaluación, el Ministerio de Hacienda, a través de la DGP, diseñó e imple-mentó las primeras evaluaciones con la meto-dología del Presupuesto por Resultados (PPR). En este contexto, y considerando el vínculo institucional con la UES, la DGP pasó a formar parte de la iniciativa que, después de meses de desarrollo, se formalizó con un convenio entre ambas instancias ministeriales.

De esta manera, se apoyó el diseño y la eje-cución de siete evaluaciones de PPR (cuatro en 2011 y tres en 2012), resultando benefi-ciados los ministerios de Salud, Educación, Obras Públicas, Agricultura y Ganadería y de Hacienda.

Esta experiencia incluyó aspectos relevan-tes tanto desde la planificación, como en la posterior puesta en marcha de las eva-luaciones. Los equipos de evaluadores fue-ron seleccionados a través de un concurso público internacional, cuyo llamado fue publicado ampliamente en las principales redes de profesionales de la región. En la selección se priorizaron los equipos multi-disciplinarios.

Así también, se puso especial atención en la conformación de un comité de seguimiento de las evaluaciones, integrado por los gerentes de los programas evaluados, los evaluadores, técnicos de la DGP y de geAm. Igualmente, se contó con la asesoría y el seguimiento de una experta internacional en PPR, que colaboró en gran medida a legitimar el proceso, demostrando solvencia ante las dudas que surgían en el equipo local y el comité de selección y ayudando a guiar el proceso con pasos firmes.

Módulo Conceptos y herramientas de la gestión para resultados, del “Primer Curso Modular”, 2010.

31

Los resultados de las evaluaciones PPR fueron difundidos, tanto a través de entregas de copias impresas y electrónicas a las entidades evaluadas, como al Parlamento Nacional (ambas cámaras), a la Contraloría General de la República (CGR) o a la Auditoría General del Poder Ejecutivo (AGPE), entre otras entidades públicas.

Además, en el sitio web del Ministerio de Hacienda se alojaron las copias en formato electrónico de los informes de los dos años consecutivos, los correspondientes a la implementación de las otras herramientas e información sobre el cumplimiento de las instituciones, quedando registrado en el Balance Anual de Gestión e Indicadores de Desempeño.

De esta forma, el componente logró una mayor conexión entre los diferentes actores, fomentando el aprendizaje, el control de calidad del proceso y el producto logrado.

Módulo Conceptos y herramientas de la gestión para resultados - ”Primer Curso Modular”, 2010.

Capacitación comple-mentaria, “Curso Taller de Elaboración de Marco Lógico”, 2011.

32

Presupuestos por resultados en la web de la DGP - MH http://www.hacienda.gov.py/web-presupuesto/ppr/

DIFUSIÓN A la vista públicaComo la realización de la evaluación se concibe como una rendición de cuentas y de transparencia en el uso de los fondos públicos, el Proyecto puso especial énfasis en la publicación y difusión de los resulta-dos de las evaluaciones.

En este sentido, se realizó el “Seminario Internacional de Presupuesto por Resulta-dos”, en octubre de 2011, en el cual fueron socializados los resultados de las evaluacio-nes de PPR y de las evaluaciones realizadas en el marco del “Curso Modular”. Ante la presencia de los medios de comunicación y de un auditorio de más de 150 personas, se expusieron los hallazgos, las conclusio-nes y las recomendaciones de los equipos de evaluadores, y se entregaron materiales impresos y audiovisuales.

Una iniciativa digna de destacar es el deci-sivo interés de la Dirección General de Pre-supuesto por poner a disposición del públi-co los informes de las evaluaciones de PPR,

a través de su página web institucional3. Cualquier persona interesada puede des-cargar esta información, lo que representa un hito en la difusión y en la transparencia del proceso.

Otro espacio de difusión fue la “Primera Muestra Nacional de la Estrategia de Aten-ción Primaria de Salud (APS)”, realizada en marzo de 2012: en una de las mesas de trabajo y exposición se compartieron los re-sultados de las evaluaciones a la Estrategia APS, apoyadas por distintas instituciones.

3 http://www.hacienda.gov.py/web-presupuesto/ppr/

33

Evaluaciones presentadas en la Primer Muestra Nacional de Estrategias de APS-USF

Objetivos de la evaluación Entidad responsable

1Constatar la efectiva implementación y el funcionamiento de las 276 USF, instaladas entre noviembre de 2008 y julio de 2010, y la percepción de los beneficiarios

Proyecto "Evaluamos para Mejorar", en el 2011

2

Determinar la efectividad de las estrategias comunicacionales implementadas por las Uni-dades de Salud de la Familia USF del Bañado Sur de Asunción, para la detección precoz de cáncer de cuello uterino

Proyecto "Evaluamos para Mejorar"

3Evaluación del diseño y la gestión, eficacia, eficiencia y justificación de la continuación del programa

DGP-MH, Presupuesto por Resultados, 2011

4La Evaluación de la Eficiencia de las Unidades de Salud mediante la técnica Análisis Envolven-te de Datos (DEA)

Evaluación encargada por la DGP-MH en conjunto con el MSPBS, 2011

Imagen del Proyecto “Evaluamos para Mejorar”, 2011.

34

Compartiendo en redA finales del año 2010, y a instancias del Proyecto “Evaluamos para Mejorar”, se creó la Red Paraguaya de Evaluación (RE-PAE), integrada por personas vinculadas al sector público y privado, profesionales y expertos en la materia. Esta nucleación se afilió a otras redes internacionales de la región y se convirtió en un espacio amplio de debate, desarrollo y difusión de las prác-ticas evaluativas ejecutadas.

En atención a su objetivo de formación de capacidades, en 2012 la REPAE organizó el primer “Seminario Nacional de Evalua-ción”, con la participación de más de 60 personas vinculadas a la temática. En la ocasión, se expuso sobre la “Instalación de Sistemas de Seguimiento” y las “Experien-cias evaluativas de las políticas públicas en Paraguay, planificación, aprendizajes y de-safíos”, temas que estuvieron a cargo de profesionales del ámbito nacional y gesto-res de programas evaluados.

La REPAE cuenta con su sitio web4, así como con perfiles en las redes sociales, los cuales se constituyen en herramientas de contacto con sus socios y el público intere-sado. Estas herramientas de comunicación también son utilizadas para la difusión de experiencias, concursos y novedades en el ámbito de la evaluación.

Capacidad instaladaEl Proyecto “Evaluamos para Mejorar” lo-gró instalar capacidad técnica a nivel local, y equipos especializados e interiorizados en la metodología, y difundió ampliamente las evaluaciones realizadas, aspectos que aseguran la sostenibilidad de la experien-cia. Igualmente, la creación de la REPAE posibilita una interacción amplia de sector público y la sociedad civil, lo que constituye un logro muy alentador de cara a futuras acciones en la materia. Por otro lado, un reto fundamental y no menos importante es que estos procesos sean financiados con fondos públicos, en el marco de las políti-cas públicas.

Para los gestores del Proyecto, las raíces están echadas para la sostenibilidad de los procesos de evaluación a nivel local. Los dos primeros años de ejecución de la iniciativa se llevaron a cabo los “Cursos Modulares”, para capacitar a evaluados y evaluadores. Y el proyecto empieza a dar sus frutos, por-que la evaluación se inserta poco a poco en la dinámica de algunas instituciones pú-blicas. Prueba de ello son las evaluaciones solicitadas y la apertura demostrada por las mismas; la evaluación entró en la agenda institucional, pero aún falta que se convier-ta en política pública, atada al presupuesto.

4 http://repaepy.ning.com/

Portal web de la REPAE http://repaepy.ning.com/

35

Videoconferencia conexperta internacional del PPR para la presentación del avance de evaluación al equipo interinstitucional de seguimiento, 2011.

Como aspecto positivo, a favor de la sos-tenibilidad de la iniciativa, se menciona por ejemplo, que el Ministerio de Salud apro-vechó y utilizó las recomendaciones ema-nadas de las evaluaciones para mejorar su gestión, lo que permitió optimizar sus sistemas de registro estadístico y capacitar a sus técnicos para realizar evaluaciones sobre bases de datos, como el análisis de eficiencia.

Se comprende que el monitoreo y la eva-luación son conceptos nuevos en nuestro ámbito local; existen profesionales con ga-nas de incorporar estos temas en la gestión en tanto que hay otros en los que aún per-sisten la desconfianza y los prejuicios hacia la práctica de evaluar. Ahora bien, la cultu-ra de la evaluación se ha ido creando con procesos que ya se han iniciado en varias instituciones asistidas por el Proyecto.

Con la construcción de los marcos lógicos y los planes de monitoreo y evaluación, las instituciones y los programas reconocen que saben cómo se les va a evaluar en el futuro, los indicadores que van a medir la gestión y los resultados de los mismos. También reconocen que, en épocas pasa-das, al no tener estas herramientas, cada evaluador o institución contralora podía crear sus propios indicadores para medir la gestión y los resultados, lo que generaba mucha resistencia.

Otro aspecto que favorece la sostenibili-dad de la propuesta es la instalación del Presupuesto por Resultados, iniciativa que está respaldada por ley de la Nación y cuyo cumplimiento es obligatorio. Pero al mar-gen de esa obligatoriedad, la Dirección Ge-neral de Presupuesto del Ministerio de Ha-cienda supo generar sinergias importantes para que los procesos evaluativos pudieran culminar con éxito.

En efecto, la DGP contó con asesoramien-to internacional a efectos de identificar los cuellos de botella del proceso, los me-canismos para vincular efectivamente la evaluación con el presupuesto y las otras dos herramientas de la gestión por resulta-dos (Indicadores de Desempeño y Balance Anual de Gestión), análisis de Fortalezas, Oportunidades, Debilidades y Amenazas (FODA) del PPR. Todo esto, para instalar esas capacidades dentro de cada insti-tución. Hoy, tanto los técnicos de la DGP como de la UES, tienen la capacidad para medir la calidad de los informes de eva-luación y direccionar estos procesos eva-luativos con herramientas que garanticen la participación y el compromiso de todos los actores, lo cual contribuye al uso y a la sostenibilidad.

36

Desde el proceso de PPR, se reconoce tam-bién que hace falta pensar en un mecanis-mo de incentivos a los programas que van asumiendo los compromisos de mejora. Hasta ahora se tienen las herramientas, pero todavía no están vinculadas al proce-so de asignación del presupuesto público.

Si bien el Proyecto considera la necesi-dad de que, desde el sector público, debe crearse un espacio que sea el ente rector en materia de evaluación, los mismos actores reconocen que aún no es el momento apro-piado de traer el tema a la agenda pública. Son muchos los factores que hacen que no sea factible discutir desapasionadamente la institucionalización. Todo es muy incipien-te, algo muy nuevo y, como tal, todavía no se tiene la suficiente madurez para discutir anteponiendo los intereses generales.

Con enfoque de equidadSi bien en Paraguay el enfoque de géne-ro no está ampliamente difundido, desde el Proyecto “Evaluamos para Mejorar” se hizo especial hincapié en que todas las eva-luaciones realizadas en el marco del mismo incorporen esta perspectiva. A raíz de este requerimiento, se observó que muy pocos evaluadores comprendían a cabalidad las implicancias de la mirada de género dentro de las políticas públicas.

Por ello, el Proyecto, en conjunto con la UES y con la colaboración de ONU Muje-res, elaboró un instructivo para la incorpo-ración de la perspectiva de género en las evaluaciones. Para el efecto, se contó con el apoyo de las expertas chilenas Alejan-dra Faúndez y Marisa Weinstein, quienes, además de la elaboración del instructivo, dedicaron varias jornadas de trabajo a ex-plicar la metodología y generar un espíritu propositivo en los evaluadores y gestores públicos.

Asimismo, como parte de la capacitación en el “Curso Modular” se elaboró un mó-dulo especial sobre la evaluación de pro-gramas con perspectiva de género. Su de-sarrollo demostró que, en general, cuando se habla de género, un amplio grupo del auditorio presenta algún tipo de resistencia expresada en falta de atención y desinte-rés, salvo quienes ya tienen internalizado el tema, que aún es un grupo limitado de personas.

Se considera que esta situación se debe a que no se sabe mucho sobre dichos temas y, especialmente, porque recién se está empezando a hablar abiertamente de gé-nero en Paraguay: “nos cuesta equilibrar el debate, mucho corazón y mucha pasión, nuestra comprensión y el nivel del debate todavía son superficiales”.

Instructivo para la incorporación del enfoque de género en las evaluaciones, elaborado en el marco del Proyecto.

37

Por otro lado, cabe señalar que el Proyecto priorizó -en todo momento- la participación de mujeres en sus actividades. Tal es así que el 64% de las personas que participaron de las capacitaciones eran mujeres. A esto se suma que, de 19 personas que formaron parte de los equipos que realizaron las eva-luaciones, 10 (52%) eran mujeres.

Emprender y construir en conjunto Al igual que la incorporación de la pers-pectiva de género, se consideró también la gestión colaborativa como eje transver-sal del Proyecto. Es decir, gestión colabo-rativa en cuanto a que la gestión pública no es un monopolio del Gobierno, que no se trata sólo de escuchar y ser escuchado, sino de “hacer” juntos. En este sentido, la iniciativa promovió la articulación entre las distintas instancias del Gobierno que, por lo general, trabajan en compartimientos estancos, para experimentar la democracia colaborativa, que implica la incorporación -por ejemplo- de las nuevas tecnologías para que más cantidad de personas pue-dan participar en la gestión pública.

Esta acción conjunta también fue valorada y reconocida como una experiencia positi-va en el ámbito de la cooperación entre las tres partes involucradas en el Proyecto Eva-luamos para Mejorar: UES, geAm y USAID.

En este sentido, la UES tuvo un rol protagó-nico dentro de la iniciativa: era la entidad que llegaba a las instituciones para socia-lizar y explicar el proceso; es decir, la con-vocante. En atención a esta tarea, la UES se ganó el respeto en este ámbito, con-virtiéndose en un referente en materia de políticas públicas a lo largo de la etapa de implementación del Proyecto.

Igualmente, entre los participantes de las capacitaciones, los evaluados y los evalua-dores, se generó una relación de aprendi-zaje mutuo. Las personas provenientes del sector público valoraron positivamente la participación de referentes de la sociedad civil, tanto en el “Curso Modular” como en las evaluaciones, destacándose la com-plementariedad como elemento relevante de este proceso. Durante el desarrollo del curso, los grupos de trabajo se conforma-ron de manera mixta, con integrantes del sector público y de la sociedad civil. Esta metodología de trabajo fue valorada por los participantes como enriquecedora y di-námica, ya que las personas provenientes del sector público conocían más a fondo los programas, y las de la sociedad civil brindaban una mirada externa, aportando desde su experiencia.

Dinámica grupal módulo de Análisis, “Segundo CursoModular”, 2011.

38

Terreno fértil para la intervención Una gestión de Gobierno de fuerte discurso social, acompañada de una ampliación de los recursos destinados al gasto social, se constituyeron en factores favorables para el establecimiento de acuerdos básicos para la implementación de la iniciativa conjun-ta. Un ejemplo del escenario propicio fue el incremento de la cantidad de programas destinados al combate de la pobreza, cuyos avances debían ser monitoreados.

Desde los medios de comunicación se insis-tió en que los programas de lucha contra la pobreza no generaban los resultados espe-rados, hecho que motivó a los gestores de los mismos a abrir sus puertas a la capaci-tación en evaluación y la puesta en práctica de experiencias concretas: se buscaba mos-trar los efectos y logros de los programas. La “Estrategia APS” del Ministerio de Salud y el “Programa Tekoporâ, de Transferen-cias Monetarias Condicionadas”, fueron los programas más evaluados, combinando distintas metodologías.

Capacitación a encuestadores para la “Evaluación de Impacto del Programa Pensión Alimentaria para Adultos Mayores”, 2012.

Los técnicos encargados de los programas demostraron apertura y colaboraron en la llegada a las instituciones y el acceso a la in-formación pública. Sin embargo, las prácti-cas de gestión instaladas por décadas, con una burocracia poco eficiente, contribuye-ron en gran medida a que iniciativas como la descripta no pueda avanzar con facilidad en el ámbito público. Se buscaba incidir en la forma de pensar y de accionar de los gestores, instalar la iniciativa como práctica sistemática, lo cual requiere de persisten-cia, amplia responsabilidad (voluntad) po-lítica de autoridades y directivos, un marco normativo que –mínimamente- garantice la continuidad o sostenibilidad y, sobre todo, la inclusión en el presupuesto público de los recursos para ejecutar evaluaciones externas de los programas públicos. Como paso pendiente queda crear una instancia que impulse de forma coordinada la eva-luación.

39

Las bases para avanzar

Hoy en día se expresa ampliamente la necesidad de evaluación en el sector público, se ha debatido sobre las posibilidades de su institucionalización y sobre el modelo institucional que debería asumir. Por ello, el principal logro del Proyecto “Evaluamos para Mejorar” es haber colaborado en instalar en el sector público, que formó parte del proceso, el debate sobre los alcances, los beneficios y las capacidades necesarias para llevar adelante evaluaciones exitosas.

Ampliación de la oferta y la demanda de evaluadores: Del “Curso Modular de Evaluación” egresaron alrededor de 50 profesionales cuyas capacidades fueron ampliadas en el uso de las herramientas de monitoreo y evaluación. Un grupo de estos egresados encontró una actividad interesante y están ejerciendo la evaluación de manera profesional, ubicándose a la altura de los evaluadores ya instalados en el mercado. Por otra parte, se logró ampliar la demanda de evaluaciones con los llamados a concurso realizados por las instituciones, constituyéndose en un impulso motivador para la profesionalización de los participantes del curso.

Como consecuencia de lo anterior, al dotar a los participantes tanto de conocimientos teóricos como prácticos, se logró elevar el nivel de los mismos, posibilitando que muchos puedan acceder y ganar los concursos de evaluación. Con esto se intentó acallar el supuesto básico de la escasa oferta de evaluadores en el mercado local, que hacía que los llamados a concurso fueran integrados por un grupo similar y constante de evaluadores, cada vez con más currículum vítae y más experiencia, imposibilitando el ingreso de otros evaluadores al mercado.

Mayor difusión de los resultados de la evaluación: Las evaluaciones apoyadas desde la iniciativa fueron publicadas ampliamente. Cada proceso se inició discutiendo el uso que se le daría a los resultados, los distintos formatos que podrían ser utilizados conforme el público meta y las estrategias de comunicación. La metodología de Presupuesto por Resultados es un ejemplo más que claro de lo discutido y aprendido en este aspecto, con la amplia difusión de los resultados, a través del sitio web oficial del Ministerio de Hacienda –principalmente-, la entrega de materiales impresos a las autoridades e instituciones, y encuentros abiertos al público, entre otros.

Reunión de la REPAE para la planificación estratégica institucional, 2011. Los aprendizajes

40

Generación de contactos: Se amplió también la base de contactos con profesio-nales del exterior, expertos internacionales que siguieron colaborando en la institucio-nalización de la evaluación, mediante asis-tencia técnica gestionada por las propias instituciones del Estado.

Distribución de beneficios: Tanto el sector privado como el sector público capturaron los beneficios del Proyecto. El primero, al aprovechar la capacitación para mejorar sus habilidades y competencias, y así participar en procesos de concurso con más posibilidades de resultar gananciosos. En el caso del sector público, éste amplió su capacidad gerencial de procesos evaluativos, de elaboración de TDRs de llamados a evaluación, la capacidad de revisar técnicamente la calidad de los trabajos de los evaluadores, dejando de lado el temor a la evaluación.

La iniciativa del PPR se convirtió en un amplificador de beneficios del Proyecto porque, a través de la misma, se capacitó a varias instituciones en la metodología y los conceptos de la evaluación como mecanismo de mejora, se difundieron ampliamente los resultados de las evaluaciones y se logró conectar la idea con la alta gerencia. Este es otro de los indicadores que promete aportar a la sostenibilidad de los resultados del Proyecto.

Mirando hacia el futuroSi bien se ha avanzado mucho en la senda de la institucionalización de la evaluación en el sector público, quedan importantes desafíos:

• Colaborar en la construcción de la cultura evaluativa fomentando su difusión, invo-lucramiento de los actores y el uso en la toma de decisiones.

• Lograr que la alta gerencia de las institu-ciones evaluadas tenga conocimiento de las evaluaciones antes de que éstas con-cluyan.

• Impulsar la implementación de mecanis-mos de incentivos a los programas que son evaluados: será posible con una de-cidida apuesta a la evaluación por parte del sector público, a fin de prever meca-nismos, recursos y políticas claras.

• Fortalecer los espacios de coordinación, seguimiento y monitoreo formado entre los evaluadores e instituciones evaluadas, como mecanismo para lograr el compro-miso institucional de las partes.

• Realizar análisis, permanentemente y de seguimiento, respecto a las condiciones para plantear la institucionalización de la evaluación.

41

Imagen de pantalla de la web de la DGP-MH Fuente http://www.hacienda.gov.py/web-presupuesto/ppr/

• Fortalecer la gestión de la comunicación interna y externa para que se puedan compartir los resultados de las evaluacio-nes, a través de canales informativos ins-titucionales, que mejoren la valoración y comprensión de estos procesos en todos los niveles. Esto facilitará un mayor com-promiso de los actores, haciendo posible tanto el afianzamiento y la sostenibilidad de la cultura de la evaluación, como la rendición de cuentas en las instituciones públicas.

Durante el proceso se detectó que en muchos casos los resultados de las evaluaciones no llegan a los niveles de la alta gerencia para que la misma sea utilizada como herramienta de gestión cotidiana. La difusión es aún insuficiente y, en algunos casos, en un formato inadecuado para su utilización práctica a nivel interno y externo. En otros casos son dispersas, no interconectadas.

Cúmulo de aprendizajes El involucramiento del sector público y el privado fue altamente beneficioso para el Proyecto. Se generaron espacios de aprendizaje, de debate e incluso de confrontación constructiva de ideas, buscando romper mutuos prejuicios y barreras y generando un clima de confianza. Por lo general, estos espacios suelen ser frágiles, pero de mucha utilidad.

La construcción conjunta de la evaluación entre evaluadores/as externos y los técnicos y gerentes de las entidades evaluadoras fue una buena práctica innovadora. Generó respuestas favorables de los actores hacia todo el proceso de evaluación, creó sinergias entre los mismos y predispuso tanto evaluadores como a evaluados a generar aprendizajes de manera conjunta.

La metodología de la capacitación fue acertada, innovadora, y cubrió todas las expectativas desde el punto de vista de los distintos actores que intervinieron en el proceso de capacitación en evaluación. El hecho de haber convocado tanto a personas del sector público como del privado y haber creado, de manera intencionada, grupos de trabajo mixtos y con liderazgo del sector público, posibilitó romper prejuicios. Introducir el uso de la plataforma moodle desde el primer módulo facilitó un seguimiento y acompañamiento más eficiente a los participantes.

La creación de REPAE se constituyó en una buena práctica, no sólo porque replica la experiencia de otras redes de evaluación sino, principalmente, porque surge como una articulación del sector público y privado. Fue una experiencia nueva, que creó un espacio vincular entre el Estado y la sociedad civil, que puede ser

Conversatorio sobre"Género y PresupuestoPúblico”, 2011.

42

garante de la continuidad y sostenibilidad de los procesos evaluativos, permitiendo “congeniar a los distintos actores, trabajar e intercambiar pareceres técnicos sobre la evaluación”. Facilitó el trabajo colaborativo entre los sectores, y se constituye en un factor de sostenibilidad de lo realizado en el Proyecto.

La flexibilidad en la programación per-mitió que la asistencia sea direccionada hacia aquellos sectores que realmente ne-cesitaban las instituciones. La contraparte valoró positivamente el hecho de que se pudiera construir el Proyecto de manera conjunta, sin imponer un paquete cerrado de asistencia técnica.

Lo más destacable fue el planteamiento del enfoque de “aprender haciendo”, tanto en las capacitaciones como en las asistencias técnicas. Este elemento fue innovador porque los resultados no quedan en un formalismo, sino que se apuesta a dejar instaladas capacidades en los equipos técnicos, tanto de la sociedad civil como del sector público, además de favorecer el encuentro y reconocimiento entre los distintos grupos. La transferencia de capacidades se verificó a través del “Curso Modular”, talleres y seminarios, y a través de las asistencias técnicas continuas a los programas en la construcción de las herramientas para las evaluaciones.

43

Anexos

45

Anexo 1

Egresados con doble certificación “Primer y Segundo Curso Modular” 2010-2011

1 Andrea María Wehrle Martínez

2 Carolina Mallada

3 Cinthia Paola Arrúa Gómez

4 Daisy Malvina Riveros Cañete

5 Dora Liz Cardozo

6 Eduardo Sosa

7 Enrique Gauto Bozano

8 Gladys Emilce Zarza Paredes

9 Jacinto Javier Chamorro

10 Javier Quiñonez

11 Lilian Esther Alfonso Palacios

12 Liliana Elizabeth Miranda

13 Liz Azucena Riveros Fernandez

14 Luz Domínguez

15 María del Carmen Fleytas

16 María del Pilar Fontclara de Pistilli

17 Marta Almada Denis

18 Milciades Flecha

19 Miryan Teresa Caballero de

20 Nidia Yegros Moreno

21 Pablo Daniel Benítez

22 Rogelio Juan Pablo Ibáñez Candía

23 Teresa de Jesús Castellano

24 Teresa Raidan

25 Verónica Teresa Denis de Zárate

46

Anexo 2

Egresados con certificación del “Segundo Curso Modular” 2011

1 Adriana Closs

2 Aldo Irala

3 Belén Montalto

4 Cecilia Crosa

5 Celeste López

6 Claudina Zavattiero

7 Cristian Añasco

8 Darío Pérez

9 Diana Brítez

10 Félix Fariña

11 Gustavo Sánchez

12 Hilda Benitez

13 Ladislao Cardozo

14 Laura Delgadillo

15 Lourdes Mariana Riveros de Fernández

16 Luisa Ocariz

17 Magdalena Villagra

18 Manuel Orrego

19 Marcelo Alas

20 Margarita Molinas

21 María de la Paz Bareiro

22 María Liz Coronel

23 Oscar A. Acosta G.

24 Oscar Mercado Grau

25 Raquel Cáceres

26 Richard Ortigoza

27 Vanessa Stanley

28 Víctor Ferreira

29 Víctor Hugo Olmedo

30 Willian Velázquez

31 Ana Rojas

32 Adolf Sauer

47

Anexo 3

Egresados con certificación del “Primer Curso Modular” 2010

1 Amado Rivas Bogado

2 Benefrida Espinoza

3 Claudia Garcia

4 Cristal Maria Rivas Escobar

5 Dalila Meaurio Pando

6 Darío Ricardo Núñez Torres

7 Delfino Ferreira Brítez

8 Diego Luis Benítez Antola

9 Dionel Sosa

10 Edgar García Duarte

11 Fabricio Javier Demestri Felip

12 Gloria Elizabeth Aveiro Cardozo

13 Hilda Julia Benítez de Valenzuela

14 Ismael Odilón Barreto Brítez

15 Jorge Arnaldo Paredes Morínigo

16 Jose Tomás Sánchez

17 Julio César Orrego Romero

18 Karen Mariana Leguizamón Sosa

19 Liz Carolina Becker Cuevas

20 Marcial Samudio Ríos

21 Maria Patricia Quintana Gaona

22 Milciades Flecha

23 Mónica Rojas

24 Myrian Cristina Dávalos de González

25 Nancy Esther Penayo Torres

26 Ricardo Rodríguez Escobar

27 Rosa Ramona Vega Martínez

48

Amado Rivas Bogado

Ana Teresa Rojas Viñales

Andrea María Wehrle Gamarra

Carmen Diana Von Bargen Zayas

Carmen Liliana Romero Caballero

Cinthia Paola Arrúa Gómez

Daisy Malvina Riveros De Benítez

Débora Aquino

Dora Liz Cardozo Giménez

Enrique Gauto Bozzano

Gregorio Eduardo Sosa Vera

Jacinto Javier Chamorro

Karen Mariana Leguizamón Sosa

Laura Ivanna Delgadillo Alcaraz

Liliana Elizabeth Miranda Arévalos

Liz Azucena Riveros Fernández

Lourdes Karina Morínigo Sanabria

María Del Pilar Fontclara De Pistilli

María Susana Riveros Vázquez

Milciades Flecha

Miryan Teresa Caballero De Espínola

Nidia Marina Yegros Moreno

Pablo Daniel Benítez

Teresa Dejesus Castellano Agüero

Verónica Serafini

Verónica Teresa Denis De Zarate

Víctor Imas

Anexo 4

Socios fundadores de la REPAE

49

Siglas y acrónimos

AGPE Auditoría General del Poder Ejecutivo

APS Atención Primaria de Salud

BAGP Balance Anual de Gestión Pública

BID Banco Interamericano de Desarrollo

CIPPEC Centro de Implementación de Políticas Públicas para la Equidad y el Crecimiento

DEA Análisis Envolvente de Datos

DGP Dirección General de Presupuesto

EpM Evaluamos para Mejorar

geAm Gestión Ambiental

ID Indicadores de Desempeño

LAM Ley de Pensión Alimentaria de Adultos Mayores

MEC Ministerio de Educación y Cultura

MH Ministerio de Hacienda

MJT Ministerio de Justicia y Trabajo

MSPBS Ministerio de Salud Pública y Bienestar Social

MAG Ministerio de Agricultura y Ganadería

MOPC Ministerio de Obras Públicas y Comunicaciones

ONG Organización no Gubernamental

PETS Encuesta de Monitoreo del Gasto Público

PPR Presupuesto por Resultados

REPAE Red Paraguaya de Evaluación

SAS Secretaría de Acción Social

SNNA Secretaría Nacional de la Niñez y la Adolescencia

SINAFOCAL Sistema Nacional de Formación y Capacitación Laboral

SNPP Servicio Nacional de Promoción Profesional

SENASA Servicio Nacional de Saneamiento Ambiental

TDRs Términos de Referencia

UBS Unidades Básicas de Saneamiento

UES Unidad de Economía Social

USAID Agencia de los Estados Unidos para el Desarrollo Internacional

USF Unidades de Salud de la Familia

2010 2013 - » geam · unidas para el desarrollo (pnud) y la unión europea. durante los 3 años...

Documents