d oc - cippec

DOCDOCUMENTO DE POLÍTICAS PÚBLICAS

RESUMEN EJECUTIVO

Centro de Implementación de Políticas Públicas para la Equidad y el Crecimiento

E l crecimiento económico registrado du-rante la década 2003-2013 estuvo acom-pañado por un activo rol del Estado en

materia social y por un crecimiento sostenido del gasto social, que pasó del 19% del PBI en 2003 al 32% en 2013. En este escenario, tuvo lu-gar una mejora de los principales indicadores sociales, que fue acompañada por una amplia-ción de derechos para los sectores histórica-mente excluidos. En la actualidad, la cartera de planes y programas sociales implementa-dos por el Estado nacional beneficia a casi un cuarto de la población del país y representa un importante esfuerzo fiscal (Repetto, 2013).

Sin embargo ¿están los planes y programas sociales nacionales en condiciones de ser eva-luados de una manera que resulte creíble y con-fiable? Su diseño ¿incluye elementos de monito-reo y evaluación? ¿Se dispone de información confiable para conocer los resultados efectivos de las políticas públicas? En esta evaluación de los efectos sociales ¿se toma en cuenta la visión de actores múltiples? Y, por último ¿se destinan los recursos necesarios para conocer si se cum-plieron (o no) los objetivos de estas intervencio-nes?

Sin negar los esfuerzos sectoriales que reali-zan los organismos de la Administración Públi-ca, es indispensable que tanto los ciudadanos

como los administradores puedan construir juicios informados sobre los resultados de las políticas públicas, ya sea desde el rol de admi-nistradores de lo público o desde el de ciudada-nos.

Para conocer si es posible producir y conocer datos relevantes sobre la efectividad de la políti-ca social, se analizaron 16 programas de política social desde cinco dimensiones (1) la calidad de la planificación y del diseño de la intervención para lograr los efectos deseados; (2) la calidad del sistema de información para el seguimiento, la producción y el archivo de la información; (3) la estrategia de evaluación prevista; (4) la estra-tegia de actores adoptada para incluir la parti-cipación durante las diferentes etapas de segui-miento y evaluación, y (5) los recursos efectivos destinados para realizar la evaluación.

Del estudio realizado se desprende que el 43,75% de los programas de la muestra estu-diada está en condiciones de alta evaluabili-dad. De estos, más de la mitad son ejecutados por el Ministerio de Educación y el resto, por el Ministerio de Salud y el Ministerio de Plani-ficación Federal e Inversión Pública. El 37,75% de los programas analizados está en condicio-nes de baja evaluabilidad. De ellos, el 66% reci-be financiamiento estatal.

Hacia un análisis de evaluabilidad de planes y programas sociales. Un estudio sobre 16 iniciativas nacionales

Natalia Aquilino | Eva Arias | Sofía Estévez | Leandro Echt

ÁREA DE INSTITUCIONES Y GESTIÓN PÚBLICAPrograma de Incidencia, Monitoreo y Evaluaciónnoviembre 2013 Análisis

124

D C2 Introducción

Es relevante monitorear y evaluar planes y programas sociales porque estas prácticas pro-ducen información útil para mejorar la calidad, eficiencia y efectividad de las distintas políticas públicas. Además, en contextos en los que la sociedad civil demanda resultados de gobierno y exige rendición de cuentas, el monitoreo y la evaluación generan insumos robustos y confia-bles sobre el desempeño y el cumplimiento de los objetivos gubernamentales planeados.

Desde algunos enfoques, evaluar es tan im-portante que “no existe otra área que tenga un impacto social tan grande como el de mejorar las capacidades de realizar evaluaciones riguro-sas” (Galiani, 2006:8).

En América Latina existen experiencias va-liosas en materia de diseño e implementación de estrategias y sistemas de monitoreo y eva-luación de planes o programas sociales. México y Colombia, por ejemplo, impulsan, regulan y coordinan la evaluación sistemática de políticas públicas desde el Estado. En México, el objetivo del Consejo Nacional de Evaluación de la Políti-ca de Desarrollo Social (CONEVAL)1 es regular y coordinar la evaluación de la Política Nacional de Desarrollo Social. En Colombia, la Dirección de Evaluación de Políticas Públicas -a través del Sistema Nacional de Evaluación y Gestión de Resultados (SINERGIA)- mide y evalúa la ges-tión, la ejecución y el impacto de las principales políticas y programas gubernamentales2. Estos organismos demuestran que existe una cultura de evaluación liderada desde el nivel estatal.

En este contexto, programas como De Cero a siempre (Colombia) y 70 y más (México) tienen sistemas de información y estrategias de eva-luación elaborados según los lineamientos del Estado. Esto garantiza que todos los programas cumplan con los estándares mínimos de evalua-bilidad.

En la Argentina no existe un organismo análogo a los de Colombia y México. Por el con-trario, las tareas de monitoreo y evaluación están supeditadas tanto a la iniciativa política como a la voluntad técnica de las gerencias de los planes y programas o a las exigencias de los organismos financiadores. Así, en nuestro escenario conviven experiencias muy disímiles en materia de calidad y rigor técnico3. Por eso, vale la pena preguntarnos si todas las políticas sociales están en condiciones de ser evaluadas de una manera que resulte creíble y confiable4.1 Creado en el marco de la Ley General de Desarrollo Social (2004).2 El sistema de seguimiento y evaluación de SINERGIA (creado en 1994 y anclado en el requisito de realizar evaluaciones incluido en la Constitución de 1991) es uno de los más fuertes de Latinoamérica (Grupo de Evaluación Independiente Banco Mundial, 2007).3 La reciente creación del Programa de Evaluación de Políticas Públicas, dentro de la Jefatura de Gabinete, es un paso impor-tante hacia la institucionalización de la evaluación en la adminis-tración pública nacional.4 Sobre la base de la definición de OCDE/DAC.

¿Qué es la evaluabilidad y por qué es importante considerarla?

Dado que las políticas públicas se generan a par-tir de la voluntad de los gobiernos de atender las problemáticas de la ciudadanía, si los programas pueden ser evaluados es más sencillo determi-nar en qué medida constituyen una estrategia apropiada para abordarlas.

Por evaluabilidad se entiende al grado en el que las características particulares del diseño de un programa o plan afectan a la habilidad de proveer una evaluación efectiva (Youtie, Boze-man y Shapira, 1998).

El análisis de evaluabilidad es una herra-mienta estratégica de la evaluación de políticas públicas porque, entre otros motivos5:

• Facilita la identificación de mejoras en el diseño de la evaluación, la matriz de monitoreo y evaluación, y el programa o plan en sí mismo.

• Permite recabar información de alto valor estratégico para que los actores involucrados en la evaluación definan sus cursos de acción.

• Permite optimizar el presupuesto del programa y, sobre todo, el de la porción destinada a evaluación, ya que evita grandes inversiones inadecuadas o innecesarias y brinda una justificación basada en valoraciones concretas de los gastos que se deben realizar para las necesidades del programa o plan en cuestión.

• Implica un aporte a la transparencia y a la rendición de cuentas.

• Su correcto uso legitima la evaluación posterior.

En aquellos casos en los que una evaluación en profundidad sea viable, un análisis de eva-luabilidad completo recomendará metodologías adecuadas para cada escenario particular6 y po-drá establecer si la eventual evaluación permiti-rá generar información relevante, por ejemplo, bajo la forma de aportes para mejorar el ren-dimiento del programa. Cuando los análisis de evaluabilidad arrojen resultados negativos, su propósito será dar también recomendaciones acerca de las modificaciones que es necesario introducir para generar las condiciones que via-bilicen la evaluación.

En principio, cualquier plan, programa o proyecto es susceptible de ser evaluado. Se trata de una decisión de carácter político, que optará entre diferentes escenarios técnicos para

5 Sobre la base de la Merino (2007).6 Algunos tipos de evaluación de programas son: evaluación de necesidades, evaluación de impacto y evaluación de procesos.

iniciativa política

conocimiento técnico

D C3facilitar e implementar un análisis riguroso que determine los logros y desafíos del tema o inicia-tiva bajo análisis.

Sin embargo, el alcance y el tipo de evalua-ción posible están determinados por elementos que se relacionan, entre otras cosas, con el dise-ño de la intervención, los sistemas de informa-ción y recolección de datos articulados para rea-lizar el seguimiento durante la implementación, los recursos humanos y operativos disponibles, las expectativas y beneficios esperados por los participantes y, en general, con la actitud de los implicados en el desarrollo de la intervención pública ante la evaluación. Las características específicas de estos elementos determinarán en cada caso la conveniencia de poner en marcha o no una evaluación.

A partir del análisis de cinco dimensiones, este trabajo7 analiza en qué medida están algu-nos planes y programas sociales impulsados a nivel nacional en condiciones de ser evaluados:

1. Calidad de la planificación y del diseño de la intervención para lograr los efec-tos deseados.

2. Calidad del sistema de información para realizar el seguimiento, la producción y el archivo de la información.

3. Estrategia de evaluación prevista en la formulación de la intervención.

4. Estrategia de actores adoptada para incluir la participación durante las diferentes etapas de seguimiento y evaluación.

5. Recursos efectivos destinados para la realización de la evaluación.

Se utilizó como herramienta de análisis un protocolo de evaluabilidad que permite desa-gregar y examinar sistemáticamente el término en distintas dimensiones e indicadores relevan-tes. Para esto, se consideró como insumo el pro-tocolo de evaluabilidad de la Comunidad Foral de Navarra y el Checklist for Reviewing Scope of Work for Performance Evaluation de la United States Agency for International Development (USAID), entre otros. Con estos y otros insumos se creó una herramienta de análisis adaptada al contexto argentino.

7 Este documento se enmarca en un estudio de mayor escala llevado a cabo por CIPPEC cuyo propósito es instalar la temática de la evaluabilidad. Entre otras publicaciones producidas en este contexto se encuentra el Documento de Políticas Públicas N° 111: ¿Están todas las políticas públicas en condiciones de ser evaluadas? (2012).

Planes y programas sociales analizados

Para realizar el análisis de evaluabilidad, se in-vestigaron 16 programas de política social. Por un lado, esta muestra tiene la riqueza de la di-versidad, que puede verse en las diversas fuen-tes de financiamiento, los distintos organismos de ejecución o ministerios involucrados y los distintos niveles de presupuesto y de cobertura. Por otro lado, los elementos de la muestra tie-nen en común el hecho de que son todos progra-mas sociales de implementación nacional, que actualmente están en ejecución.

Además, todos los programas considerados disponen de algún tipo de documento de pro-grama o de información relevante vinculada con los ejes de evaluabilidad8 aquí considerados. Es decir que los 16 programas están en condicio-nes de ser relevados porque cuentan con, infor-mación necesaria para responder a las pregun-tas incluidas el protocolo de evaluabilidad .

Los programas o planes que componen la muestra son:

8 Si bien este mecanismo de selección puede generar un sesgo en la representatividad dentro del universo de programas nacionales totales, dada la característica del análisis externo de los programas realizado en este trabajo, no se pudo evitar esta medida. De todos modos, se la trató de contrarrestar a partir de la diversidad de ejes considerados (fuente de financiamiento, organismo de ejecución, nivel presupuestario y cobertura).

efectividad

gestiónPlan / programa Organismo de ejecución

1Programa de Mejoramiento de Barrios II (PROMEBA II)

Ministerio de Planificación Federal, Inversión Pública y Servicios

2Programa Federal de Construcción de Viviendas - Techo Digno


3 Plan Agua + TrabajoMinisterio de Planificación Federal, Inversión Pública y Servicios

4Programa Jóvenes con Más y Mejor Trabajo

Ministerio de Trabajo, Empleo y Seguridad Social

5Seguro de Capacitación y Empleo


6 Plan Nacer Ministerio de Salud

7Plan Federal "Incluir Salud"

Ministerio de Salud

8

Programa Nacional de Salud Sexual y Procreación Responsable

Ministerio de Salud

9Programa Remediar Redes

Ministerio de Salud

10

Programa de Educación Media y Formación para el Trabajo para Jóvenes Fase II

Ministerio de Educación

11

Programa de Apoyo a la Política de Mejoramiento de la Equidad Educativa II (PROMEDU II)


12Programa de Mejoramiento de la Educación Rural


13Programa Conectar Igualdad


14Programa Ingreso Social con Trabajo

Ministerio de Desarrollo Social

15Plan Nacional de Seguridad Alimentaria


16

Plan Nacional de Desarrollo Local y Economía Social "Manos a la Obra"


D C4

Resultados por dimensiones

1. La calidad de la planificación y del dise-ño de la intervención

La primera dimensión analizada responde a preguntas sobre el diagnóstico de los problemas que la iniciativa busca resolver y de los objeti-vos o resultados esperados de la intervención. El 81% de los programas realizó un diagnóstico de los problemas, pero un porcentaje menor (62%) identificó las causas de las problemáti-cas en cuestión. El 69% de los programas pre-senta problemas cuantificables o medibles de algún modo y el 65% define la línea de base de la que parte la intervención en los documentos de programa.

El 100% de los programas analizados define explícitamente sus objetivos, responde a las ne-cesidades y problemas detectados. Además, el 31% de las intervenciones establece los plazos para alcanzar estos objetivos.

Más adelante se verá que las dimensiones calidad de diseño y planificación de la inter-vención influyen sobre el grado de evaluabi-lidad que puede alcanzar un programa en sus otras dimensiones (la calidad de la informa-ción, la estrategia de evaluación, la estrategia de actores y los recursos destinados).

2. La calidad del sistema de información

Esta dimensión releva información sobre los in-dicadores empleados, las fuentes de información establecidas y los mecanismos de recolección de datos. Del total de los programas investigados, el 63% define una matriz de monitoreo y eva-luación, mientras que el 88% define indicado-res para recopilar sistemáticamente la infor-mación sobre la evolución de la intervención y sus actividades. Las matrices de seguimiento y evaluación del 56% de los casos analizados em-plean indicadores de impacto y el 69% consig-na las fuentes de información que se utilizarán

para recolectar los distintos indicadores. Por otra parte, mientras que en el 81% de los

programas y planes analizados se define un pro-cedimiento para relevar información, solo un 44% explicita en qué momento se lo debe imple-mentar.

Es esperable que las recomendaciones sur-gidas a partir de la evaluación sean un insumo para mejorarla gestión, aunque en la prácti-ca esto puede ser difícil. Por eso, es necesario trabajar para que la información volcada en las recomendaciones sea percibida y utilizada como insumo para tal fin.

3. La estrategia de evaluación

Al analizar la calidad de la estrategia de evalua-ción de los planes y programas se consideran los siguientes indicadores: tipo de estrategia, propósitos y alcance, utilización de resultados y retroalimentación, difusión de hallazgos y siste-matización de lecciones aprendidas. En el 75% de los casos analizados se observó la planifica-ción de algún tipo de estrategia de evaluación: sea de medio término (56% de los casos), final (44% de los casos) o de ambos tipos combina-dos (44% de los casos).

En el 75% de los casos se definieron los pro-pósitos de la evaluación, pero solo en el 38% de estos casos se especificaron las preguntas a las que esta evaluación debe dar respuesta. En el 75% de los programas analizados se prevé algún mecanismo para incorporar las recomendacio-nes de la evaluación a la gestión de la política.

Uno de los factores que fortalecen la evalua-bilidad es que la necesidad de realizar evaluacio-nes se instale explícitamente desde la etapa de diseño del programa: la evidencia demuestra que los planes nacionales que incluyen moni-toreo y evaluación periódicos desde la planifi-cación aumentan su capacidad para articular-se con otros actores y producir sinergias.

calidad del diseño

acceso a la información

Uno de los programas con mejor desempe-ño en esta área es el Programa de Educa-ción Media y Formación para el Trabajo para Jóvenes Fase II (Ministerio de Edu-cación): tiene una matriz de monitoreo y evaluación en la cual se identifican lo sin-dicadores relevantes, las fuentes y los pro-cedimientos para obtener la información.

Plan / programa Organismo de ejecución

1Programa de Mejoramiento de Barrios II (PROMEBA II)


2Programa Federal de Construcción de Viviendas - Techo Digno


3 Plan Agua + TrabajoMinisterio de Planificación Federal, Inversión Pública y Servicios

4Programa Jóvenes con Más y Mejor Trabajo


5Seguro de Capacitación y Empleo


6 Plan Nacer Ministerio de Salud

7Plan Federal "Incluir Salud"

Ministerio de Salud

8

Programa Nacional de Salud Sexual y Procreación Responsable

Ministerio de Salud

9Programa Remediar Redes

Ministerio de Salud

10

Programa de Educación Media y Formación para el Trabajo para Jóvenes Fase II


11

Programa de Apoyo a la Política de Mejoramiento de la Equidad Educativa II (PROMEDU II)


12Programa de Mejoramiento de la Educación Rural


13Programa Conectar Igualdad


14Programa Ingreso Social con Trabajo


15Plan Nacional de Seguridad Alimentaria


16

Plan Nacional de Desarrollo Local y Economía Social "Manos a la Obra"


El Programa Conectar Igualdad (Minis-terio de Educación) es una de las inter-venciones con mejor desempeño en esta dimensión: tiene un buen diagnóstico de la situación inicial y una clara descripción de los objetivos que se deben alcanzar me-diante las actividades a implementar.

D C5

4. La estrategia de actores

A partir de la cuarta dimensión se indagó si los actores implicados en la evaluación estaban claramente identificados y cuál era su grado de involucramiento. De los 16 programas analiza-dos, un 44% realizó un análisis previo de las posibilidades de participación de diversos ac-tores en el proceso de evaluación.

5. Recursos destinados para la implemen-tación de la estrategia de evaluación

La quinta y última dimensión se desagrega en indicadores de presupuesto, tiempo y equipo, todos ellos recursos indispensables para reali-zar proveer una efectiva evaluación. Ningún programa analizado logró destacarse en esta dimensión: solo el 37% de los programas y pla-nes revisados tiene un presupuesto específico para realizar actividades de seguimiento o

evaluación y, a excepción del Programa Conec-tar Igualdad, este porcentaje se compone solo de planes o programas con financiamiento in-ternacional.

En los casos en los que sí se destinan fondos específicos para estas actividades, ninguno des-tina al menos un 5% del presupuesto total para actividades de evaluación.

Algunas conclusiones: desempeño en evaluabilidad

Si se observa el desempeño por programas en general, el 43,75% de los programas y planes sociales analizados está en condiciones de alta evaluabilidad. El 18,75% la muestra registró condiciones de evaluabilidad media. Por último, el 37,75% está en condiciones de baja evaluabi-lidad.

El promedio general de evaluabilidad de la muestra es de 56%, pero si se mide cada dimen-sión de análisis (gráfico 1), la que mejor se cum-ple es calidad de la planificación y el diseño de la intervención (80%). En promedio, las dimensio-nes sistema de información, estrategia de eva-luación y estrategia de actores presentan infor-mación para responder al 57% de las preguntas del protocolo. La quinta dimensión (recursos destinados) detenta la menor cantidad de infor-mación (28%).

Gráfico 1. Desempeño en evaluabilidad de la mues-tra por dimensión

El nivel de presupuesto promedio es otro plano desde el cual se analiza la evaluabilidad de los programas sociales. La investigación revela que no existe una correlación clara entre el ni-vel de presupuesto promedio y las condiciones de evaluabilidad. Entre los programas con eva-luabilidad alta, por ejemplo, hay intervenciones con presupuesto alto, medio alto, medio y bajo, mientras que entre los programas con evalua-

El Programa Remediar Redes y el Pro-grama de Mejoramiento de Barrios II (PROMEBA II) tuvieron un muy buen desempeño en la dimensión de calidad de la estrategia de evaluación (Ministerio de Salud y Ministerio de Planificación Fede-ral e Inversión Pública, respectivamente). Ambos definen una estrategia de eva-luación, sus propósitos y las preguntas a responder. Además, en los documentos de programa se delimitan las dimensiones (temporales, institucionales, geográficas, etc.) que serán tenidas en cuenta en la evaluación y se prevé la sistematización de lecciones aprendidas.

El Programa de Apoyo a la Política de Mejoramiento de la Equidad Educati-va II (PROMEDU II), del Ministerio de Educación es uno de los que presentan el mejor desempeño en esta dimensión, ya que identifica a los actores implicados en la intervención y prevé su participación en el desarrollo de las evaluaciones.

Conectar Igualdad y el Programa Ingre-so Social con Trabajo prevén una articu-lación con universidades nacionales para la evaluación de los programas.

Por su parte, el Programa de Educación Media y Formación para el Trabajo para Jóvenes Fase II contempla la realización de autoevaluaciones participativas en las sedes educativas involucradas en la intervención.

Fuente: CIPPEC, sobre la base del Protocolo de evaluabilidad diseñado para este estudio.

actores

recursos

D C6 bilidad baja también hay intervenciones con presupuesto muy alto, medio alto y bajo (ver gráfico 2).

Gráfico 2. Matriz de evaluabilidad. Presupuesto pro-medio9 10

Fuente: CIPPEC, sobre la base del Protocolo de evaluabilidad diseñado para este estudio.

El gráfico 2 presenta la matriz de relación evaluabilidad–presupuesto (diseñada por CIPPEC). Esta herramienta de análisis permite asignar una ubicación espacial a cada programa o plan de la muestra en función de sus niveles de evaluabilidad y de presupuesto promedio. Además, permite detectarla distribución gene-ral de la muestra en materia de evaluabilidad. En el cuadrante A están los programas con alta evaluabilidad y bajos niveles de presupuesto; en el cuadrante B, los programas con alta eva-luabilidad y alto presupuesto, en el cuadrante C se ubican los programas con presupuesto alto y evaluabilidad baja. Los programas con niveles de evaluabilidad y presupuesto bajos están en el cuadrante D. En un escenario ideal, todos los programas deberían estar distribuidos entre los cuadrantes A y B.

Ahora bien, si se tiene en cuenta al organis-mo de ejecución:

• Más de la mitad de los programas en condiciones de alta evaluabilidad son ejecutados desde el Ministerio de Educación. El resto, depende del Ministerio de Salud y del Ministerio de Planificación Federal e Inversión Pública.

• Los programas de evaluabilidad media son ejecutados por el Ministerio de Salud y por el Ministerio de Desarrollo Social.

• Un tercio de los programas de baja evaluabilidad depende del Ministerio de Planificación Federal e Inversión Pública; los restantes están bajo la órbita del Ministerio de Desarrollo Social, del Ministerio de Salud y del de Trabajo, Empleo y Seguridad Social.

9 Ver referencias numéricas en el Anexo.10 Si bien la muestra analizada incluye 16 programas, en la matriz se consideran solo 15, ya que no se pudo acceder a la infor-mación presupuestaria de uno de ellos (Programa Jóvenes con más y Mejor Trabajo).

Durante la investigación fue posible recono-cer algunas tendencias, pero estos hallazgos no permiten arribar aún a una conclusión sobre la posible relación entre el nivel de evaluabilidad de un programa y su organismo de ejecución o ministerio en el que fue diseñado

Por otro lado, si se observa el desempeño por fuente de financiamiento, el 50%de los progra-mas con evaluabilidad alta son financiados por el Banco Interamericano de Desarrollo (BID). La totalidad de los programas de evaluabilidad me-dia son financiados por el Estado. Y, por último, el 33%de los programas con baja evaluabilidad, recibe financiamiento del BIRF y el 67% restan-te, del Estado.

A partir del análisis realizado y de la infor-mación de contexto recabada, surgen algunas consideraciones:

• La planificación y el diseño de la evaluación registran siempre un desempeño mayor que las restantes dimensiones de análisis.

• Los recursos destinados y la estrategia de actores son las dimensiones con más bajo desempeño.

• Existe poca información sobre la asignación de recursos dentro de los programas.

• Mientras que los programas que presupuestan tareas de seguimiento y evaluación presentan un grado mayor de evaluabilidad, los que no lo hacen son también los que presentan evaluabilidad baja.

Sin embargo, aún no se abordan las políticas sociales en términos de efectividad, para deter-minar en qué medida lo invertido —sean recur-sos financieros, humanos o temporales—permi-tió o contribuyó con la resolución de problemas como las dificultades de acceso a servicios de educación, salud y vivienda, entre otros. Es decir que aún es prematuro determinar en qué medi-da lograrán esos esfuerzos traducirse en mejo-ras efectivas.

Desafíos para fortalecer la evaluabilidad de las políticas públicas

Los resultados de un análisis de evaluabilidad no deben confundirse con los de una evalua-ción, ya que tienen consecuencias diferentes y pueden usarse para mejorar: (1) el diseño de una evaluación; (2) el diseño de una matriz de moni-

D C7toreo y evaluación, o (3) el diseño de un plan o programa.

Con todo, un análisis de evaluabilidad como el realizado en este trabajo también permite identificar mejoras que se deberían implemen-tar en estos tres niveles:

Nivel 1: diseño de las políticas públicas• Promover el análisis de evaluabilidad

de programas sociales como medio para fortalecer el diseño, la recolección de datos y la evaluación en cualquier momento del ciclo de vida de la política pública.

• Asegurar la inclusión sistémica de matrices de monitoreo y evaluación con indicadores relevantes y consistentes en todas las intervenciones.

• Garantizar, incrementalmente, una estrategia de evaluación y una de participación de actores para todas de las intervenciones de política.

• Fortalecer la inclusión de presupuestos específicos y suficientes para monitoreo y evaluación en todos los planes, programas y proyectos.

Nivel 2: disponibilidad de información pública sobre planes y programas de gobierno

• Garantizar la disponibilidad y accesibilidad de información sobre planificación y diseño de planes y programas a través de las nuevas tecnologías.

• Promover la inclusión de metodologías innovadoras que generen información sistémica, pública y relevante para fortalecer el proceso de toma de decisiones.

• Generar mecanismos para asegurar el uso de los resultados que arrojan las evaluaciones, en pos de la mejora de la formulación e implementación de las políticas.

Nivel 3: contexto institucional• Generar estándares mínimos de calidad

en el diseño, monitoreo y evaluación de las intervenciones.

• Fortalecer la presupuestación por resultados. Esto implica la definición de los resultados a alcanzar, los procedimientos necesarios y los responsables de cada acción.

• Institucionalizar un sistema nacional de evaluación que sea capaz de orientar y fijar reglas político –técnicas que garanticen niveles suficientes de evaluabilidad de políticas públicas–.

En síntesis, aumentar la cultura de evalua-ción implica avanzar en la mejora del conoci-miento y la información disponible sobre los planes y programas de gobierno, desarrollar las capacidades técnicas de funcionarios y fortalecer la voluntad política en las distintas instancias de gestión . Esto colaborará con la instalación de la evaluación como práctica co-tidiana vinculada e incluida en la planificación, la implementación, el seguimiento y el análisis posintervención. Pero también implica contar con acceso a estadísticas nacionales confia-bles que sirvan no solo como diagnóstico, sino también como referencia continua sobre las mejoras y los desafíos pendientes.

D C8 Anexo. Descripción de la metodología empleada

Este trabajo es producto de un trabajo que incluyó: (1) la identificación de los objetivos de practi-car una análisis de evaluabilidad a planes y programas sociales nacionales; (2) la selección de una muestra para el estudio; (3) la recolección, compilación y análisis de la documentación disponible; (4) el desarrollo y aplicación de un protocolo de evaluabilidad; (5) el diálogo con los administradores y ejecutores11 de los planes y programas y; (6) la elaboración de recomendaciones.

Las condiciones de evaluabilidad se abordan, por un lado, a partir de la aplicación del protocolo y, por el otro, están sujetas a la disponibilidad de información sobre los programas, generada a partir de estrategias como: pedidos de información, revisión de portales web, pedidos de entrevistas y rea-lización de grupos focales con actores clave Para la construcción del protocolo se tuvieron en cuenta cinco dimensiones de análisis:

a) Calidad de la planificación y del diseño de la intervención para lograr los efectos deseados.

b) Calidad del sistema de información para el seguimiento, la producción y el archivo de la evidencia.

c) Estrategia de evaluación prevista en la formulación de la intervención.

d) Estrategia de actores adoptada para incluir la participación durante las etapas de seguimiento y evaluación.

e) Recursos efectivos destinados para la realización de la evaluación.

El análisis de evaluabilidad consideró el desempeño de cada programa social en cada dimensión. Para cada programa, la suma total del desempeño por dimensión generó un nivel de evaluabilidad. El estudio se propuso responder a la pregunta “¿Están todas las políticas en condiciones de ser evalua-das?” no con una respuesta dicotómica entre “Sí” o “No”, sino más bien a partir de considerar el nivel o grado de evaluabilidad de un plan o programa.

11 Se trabajó con funcionarios de los ministerios Nacionales de Trabajo, Empleo y Seguridad Social, Educación, Salud, Jefatura de Gabi-nete de Ministros, Sindicatura General de la Nación, Auditoría General de la Nación y de organismos internacionales (Banco Mundial, PNUD, OPS-OMS).

D C9Anexo II. Listado de planes y programas sociales analizados según organismo de ejecución, fuentes de financiamiento y presupuesto promedio

Plan / programa Organismo de ejecución Fuente de financiamiento

1 Programa de Mejoramiento de Ba-rrios II (PROMEBA II)

Ministerio de Planificación Fede-ral, Inversión Pública y Servicios

Banco Interamericano de Desarrollo

2 Programa Federal de Construcción de Viviendas - Techo Digno

Ministerio de Planificación Fede-ral, Inversión Pública y Servicios

Nacional

3 Plan Agua + Trabajo Ministerio de Planificación Fede-ral, Inversión Pública y Servicios

Nacional

4 Programa Jóvenes con Más y Mejor Trabajo


Banco Internacional para la Reconstrucción y Fomento

5 Seguro de Capacitación y Empleo Ministerio de Trabajo, Empleo y Seguridad Social

Banco Internacional para la Reconstrucción y Fomento

6 Plan Nacer Ministerio de Salud Banco Internacional para la Reconstrucción y Fomento

7 Plan Federal “Incluir Salud”

Ministerio de Salud Nacional

8 Programa Nacional de Salud Sexual y Procreación Responsable

Ministerio de Salud Banco Internacional para la Reconstrucción y Fomento

9 Programa Remediar Redes Ministerio de Salud Banco Interamericano de Desarrollo

10 Programa de Educación Media y For-mación para el Trabajo para Jóvenes Fase II

Ministerio de Educación Unión Europea

11 Programa de Apoyo a la Política de Mejoramiento de la Equidad Educati-va II (PROMEDU II)

Ministerio de Educación Banco Interamericano de Desarrollo

12 Programa de Mejoramiento de la Educación Rural

Ministerio de Educación Banco Internacional para la Reconstrucción y Fomento

13 Programa Conectar Igualdad Ministerio de Educación Nacional

14 Programa Ingreso Social con Trabajo Ministerio de Desarrollo Social Nacional

15 Plan Nacional de Seguridad Alimen-taria

Ministerio de Desarrollo Social Nacional

16 Plan Nacional de Desarrollo Local y Economía Social “Manos a la Obra”

Ministerio de Desarrollo Social Nacional

D C10 Anexo III. REFERENCIAS Matriz de Evaluación

1. Programa Federal Incluir Salud.

2. Programa Remediar Redes.

3. Plan Nacer.

4. Programa Nacional de Salud Sexual y Procreación Responsable.

5. Seguro de Capacitación y Empleo.

6. Programa de Mejoramiento de Barrios II (PROMEBA II).

7. Programa Federal de Construcción de Viviendas “Techo Digno”.

8. Programa Nacional Agua más Trabajo.

9. Programa de Educación Media y Formación para el Trabajo para Jóvenes Fase II.

10. Programa de Apoyo a la Política de Mejoramiento de la Equidad Educativa II (PROMEDU II).

11. Programa de Mejoramiento de la Educación Rural.

12. Programa Conectar Igualdad.

13. Programa Ingreso Social con Trabajo.

14. Plan Nacional de Seguridad Alimentaria.

15. Plan Nacional de Desarrollo Local y Economía Social “Manos a la Obra”.

D C11Bibliografía

Bassi, M.; Busso, M. ;, Urzúa, S. y Vargas, J. (2012). Desconectados. Habilidades, educación y empleo en América Latina. Washington: BID.

Caballero, A. (julio de 2013). Comentario informe Desajustes en el Desarrollo Humano y Social (2010-2011-2012). Ciudad Autónoma de Buenos Aires: Universidad Católica Argentina.

CIPPEC. (2012). 100 políticas para potenciar el desarrollo. Buenos Aires: Fundación CIPPEC.

Consejo Nacional de Evaluación de la Política de Desarrollo Social. (2013). http://www.coneval.gob.mx. Consultado el 5 de agosto de 2013, de http://www.coneval.gob.mx/quienessomos/Paginas/Creacion-del-Coneval.aspx

Davies, R. (2013). Planning Evaluability Assessments. A synthesis of the literature with recommen-dations. Report of a study commissioned by the Department of International Development. Cam-bridge: Department for International Development.

Grupo de Evaluación Independiente Banco Mundial. (2007). http://www.worldbank.org/ieg. Con-sultado el 5 de agosto de 2013, de http://www.worldbank.org/ieg/ecd/docs/Sinergia_esp.pdf

Merino, M. (2007). La evaluabilidad: de instrumento de gestión a herramienta estratégica en la eva-luación de políticas públicas. Madrid: Agencia de Evaluación y Calidad.

Observatorio de la Deuda Social Argentina. (2013). Desajustes en el desarrollo humano y social (2010-2011-2012): Inestabilidad económica, oscilaciones sociales y marginalidades persistentes en el tercer año del Bicentenario. Buenos Aires: Educa.

Observatorio de la Deuda Social Argentina. (2011). Estado de situción del desarrollo humano y so-cial. Barreras estructurales y dualidades de la sociedad Argentina en el primer año del Bicentena-rio. Buenos Aires: Educa.

Repetto, F. (19 de mayo de 2013). Política social: acciones para destacar, omisiones urgentes. La Na-ción.

Rutman, L. (1980). Planning useful evaluations. Evaluability assessment. Beverly Hills: SAGE.

Sistema Nacional de Evaluación de Gestión y Resultados. (2013). https://sinergia.dnp.gov.co. Recu-perado el 5 de agosto de 2013, de https://sinergia.dnp.gov.co/PortalDNP/default.aspx

Smith, M. (1989). Evaluability assessment: A practical approach. Norwell: Kluwe.

Strosberg, M. A. y Wholey, J. S. (1983). Evaluability Assessment: From Theory to Practice in the Department of Health and Human Services. Public Administration Review, 66-71.

Thurston, W. E. y Potvin, L. (2003). Evaluability Assessment: A Tool for Incorporating Evaluation in Social Change Programmes. Londres: SAGE Publications.

Wholey, J. S. (1994). Assessing the feasibility and likely usefulness of evaluation. En J. S. Wholey, H. Hatry y K. Newcomer, Handbook of Practical Program Evaluation. San Francisco: Jossey Bass.

Youtie, J.; Bozeman, B. y Shapira, P. (1999). Using an evaluability assessment to select methods for evaluating state technology development programs: the case of the Georgia Research Alliance. Evaluation and Program Planning, 55-64.

D C12 Acerca de los autores

Natalia Aquilino: directora del Programa de Incidencia, Monitoreo y Eva-luación de CIPPEC. Licenciada en Ciencia Política y posgraduada en Políti-cas Públicas y Desarrollo Local (Universidad Nacional de Rosario). Candida-ta a magíster en Ciencias Sociales del Trabajo (Universidad de Buenos Aires). Fue oficial de coordinación del Sistema de Naciones Unidas en la Argentina y oficial de Monitoreo y Evaluación del Programa de Naciones Unidas para el Desarrollo (PNUD).

Eva Arias: coordinadora de proyectos del Programa de Incidencia, Monito-reo y Evaluación. Licenciada en Sociología (Universidad de Buenos Aires). Magíster en Administración Pública (Universidad de Columbia). Docente de la Maestría en Políticas Públicas y Gerenciamiento del Desarrollo (UNSAM - Universidad de Georgetown).

Leandro Echt: coordinador de proyectos del Programa de Incidencia, Mo-nitoreo y Evaluación de CIPPEC. Licenciado y profesor en Ciencia Política (Universidad de Buenos Aires). Candidato a magíster en Políticas Públicas y Gerenciamiento del Desarrollo (Universidad de Georgetown).

Sofía Estévez: consultora del Programa de Incidencia, Monitoreo y Evalua-ción de CIPPEC. Licenciatura en Ciencia Política (Universidad de San An-drés), tesis pendiente.

Los autores agradecen especialmente la valiosa colaboración de Ernesto Castagnino, investigador asociado del Programa de Incidencia, Monitoreo y Evaluación de CIPPEC, por sus aportes y comentarios.

Si desea citar este documento: Aquilino, N.; Arias, E.; Echt, L. y Estévez, S. (noviembre de 2013). Hacia un análisis de evaluabilidad de planes y progra-mas sociales. Documento de Políticas Públicas / Análisis Nº124. Buenos Ai-res: CIPPEC.

Para uso online agradecemos usar el hipervínculo al documento original en la web de CIPPEC.

Las publicaciones de CIPPEC son gratuitas y se pueden descargar en www.cippec.org.CIPPEC alienta el uso y divulgación de sus producciones sin fines comerciales.

La opinión de los autores no refleja

necesariamente la posición de todos los

miembros de CIPPEC en el tema analizado.

CIPPEC (Centro de Implementación de Políticas Públicas para la Equidad y el Crecimiento) es una organización independiente, apartidaria y sin fines de lucro que trabaja por un Estado justo, democrático y eficiente que mejore la vida de las personas. Para ello concentra sus esfuerzos en analizar y promover políticas públicas que fomenten la equidad y el crecimiento en la Argentina. Su desafío es traducir en acciones concretas las mejores ideas que surjan en las áreas de Desarrollo Social, Desarrollo Económico, e Instituciones y Gestión Pública a través de los programas de Educación, Salud, Protección Social, Política Fiscal, Integración Global, Justicia, Transparencia, Política y Gestión de Gobierno, Incidencia, Monitoreo y Evaluación, y Desarrollo Local

[email protected]

DOCUMENTOS DE ANÁLISIS DE POLÍTICAS PÚBLICAS

Con los Documentos de Análisis de Políticas Públicas, CIPPEC acerca a funcionarios, legisladores, periodistas, miembros de organizaciones de la sociedad civil y a la ciudadanía en general un análisis que sintetiza los prin-cipales diagnósticos y tomas de posición pública sobre un problema o una situación que afecta al país.

Estos documentos buscan mejorar el proceso de toma de decisiones en aquellos temas que ya forman parte de la agenda pública o bien lograr que problemas hasta el momento dejados de lado sean visibilizados y considera-dos por los tomadores de decisiones.

Por medio de sus publicaciones, CIPPEC aspira a enriquecer el debate públi-co en la Argentina con el objetivo de mejorar el diseño, la implementación y el impacto de las políticas públicas, promover el diálogo democrático y fortalecer las instituciones.

d oc - cippec

Documents