Programa

DiagnósticoEv

alua

ción D

iseño

UdEP

Asesoramiento

para

cad

a

etapa

Colaboración

estratégicaM

ejo

ra

del

imp

acto

Implementación

Guía metodológica

Metodología de Teoría del Cambio

La Metodología de Teoría del Cambio es una herramienta útil para

facilitar el proceso de conceptualización, diseño, implementación

y evaluación de programas. Su uso ayuda a los responsables a

estructurar y formular mejor sus ideas e inquietudes y a traducirlas

en un esquema claro y preciso de realización, contribuyendo a la

gestión y la calidad de los programas. De esta manera colabora

con la gestión estratégica de procesos complejos e inciertos.

La Metodología de la Teoría del Cambio propone la creación de una

cadena de resultados. Ésta se construye mediante una estrategia

de deconstrucción desde el impacto y el objetivo que se busca

alcanzar hasta las acciones más específicas que contribuirán a

lograr tales objetivos.

Toda planificación estratégica de programas implica atravesar dos etapas:

*Esta guía metodológica fue desarrollada en base a Ortegón, E., Pacheco, J.F., Prieto, A., (2005) Metodología del marco lógico para la planificación, el

seguimiento y la evaluación de proyectos y programas, Serie de Manuales 42. ILPES-CEPAL, Santiago de Chile, Chile, y en base a Gertler, P., Martínez, S.,

Premand, P., Rawlings, L., Vermeersch, C., (2011) La evaluación de impacto en la práctica, Banco Mundial, Washington DC, USA.

a) Identificación del problema y alternativas de solución

En esta etapa se analiza la situación actual, se crea una visión de la situación deseada y se seleccionan las estrategias que serán implementadas para alcanzarla. Este momento incluye el análisis de los involucrados (stakeholders - agentes de interés), así como del problema y de los objetivos del programa, la búsqueda y definición de alternativas de solución y finalmente, la construcción de la estructura del programa.

b) Etapa de planificación

En esta etapa la idea del programa se transforma en un plan operativo práctico que será de gran utilidad al momento de la implementación y será plasmado en la Cadena de Resultados y la Matriz.

Guía

Situación Problemática

El barrio Álamos fue construido por el Ministerio de Vivienda de Chile en los años 70 para dar respuesta al problema habitacional que enfrentaban las familias asentadas en esos terrenos. Las viviendas se edificaron sobre lotes de 9mts de ancho por 18mts de largo. El tamaño de estos terrenos permitió que con el paso del tiempo se levantaran en los fondos nuevas construcciones más o menos precarias, que albergan hoy a los hijos y a sus nuevas familias. La vida en estos conglomerados de familias es difícil y atravesada por importantes conflictos cotidianos debido a la alta densidad poblacional así como por las dificultades de acceso a los servicios básicos.

Aproximadamente el 70% de las viviendas de Álamos albergan conglomerados de familias, ya sea al interior de la vivienda principal o en viviendas adicionales. Además se encuentran en la zona “microcampamentos” (entre 11 y 14 familias) que no cuentan con el abastecimiento mínimo de los servicios básicos.

Esta situación propició la aparición de asentamientos irregulares, generando un importante déficit habitacional. El barrio Álamos es uno de los seis barrios más pobres del Área Metropolitana.

A través de un trabajo de entrevistas realizado por funcionarios del municipio en dónde se ubica el barrio Álamos se toma conocimiento de que los jefes de estas familias están muy interesados en mejorar sus condiciones habitacionales y en llegar a ser propietarios de una vivienda. Además, entienden que sus condiciones de convivencia no son las mejores.

A partir de esta necesidad el Ministerio de Viviendas diseñó el programa “Viviendas Felices”.

A lo largo de esta breve guía aplicaremos las herramientas

sobre el caso del barrio Álamos.

Identificación de problemas y alternativas de solución

Alto grado de violencia intrafamiliar

Oferta de vivienda inexistente

Desaprovechamiento de programas habitacionales gubernamentales

Poca cultura de ahorro

Malas condiciones habitacionales en Álamos

Problemas de convivencia familiar

Alto nivel de hacinamiento

Mayor inseguridad ciudadana Alto riesgo sanitario

Insuficiente organización comunitaria

Poca capacidad de gestión municipal para ejecutar proyectos

Alta densidad poblacional por vivienda Dificultad de acceso a servicios básicos

Problemas de adquisición de vivienda

Poca capacidad de ahorro

Efectos  

Problema  central  

Causas  

PASO 1: Acordar y priorizar el problema central que afecta a la comunidad. No confundir el problema con la ausencia de una solución. No es lo mismo decir “falta de viviendas” (ausencia de solución) que “malas condiciones habitacionales” (problema).

PASO 2: Definir cuáles son los efectos principales de nuestro problema para establecer el orden y gravedad de sus consecuencias.

PASO 3: Identificar las principales causas de nuestro problema estableciendo el encadenamiento entre éstas. Es importante llegar a las causales primarias e independientes entre sí que se piensa que están originando el problema.

Pasos para la construcción del árbol de problemas

La construcción de un árbol de problemas permite visualizar la situación problemática que se desea transformar.

Nuestro plan de trabajo consistirá en:

(1) Análisis de problemas

La construcción de un árbol de objetivos permite visualizar la situación futura que se desea alcanzar. Para construirlo, se convierten los estados negativos en soluciones expresadas en forma de estados positivos. Esta transformación evita que se pierda información valiosa.

Las causas se transforman en medios y los efectos en fines (Impacto de largo plazo en la Cadena de Resultados). Los medios son aquellas acciones convenientes para alcanzar determinado fin.

Violencia intrafamiliar reducida

Facilidad de adquisición de vivienda

Capacidad de ahorro mejorada

Aprovechamiento de programas habitacionales gubernamentales

Cultura de ahorro mejorada

Condiciones habitacionales mejoradas en Álamos

Organización comunitaria mejorada

Capacidad de gestión municipal para ejecutar proyectos mejorada

Densidad poblacional por vivienda disminuida Acceso a servicios básicos mejorado

Convivencia familiar mejorada

Nivel de hacinamiento disminuido

Inseguridad ciudadana disminuida Riesgo sanitario disminuido

Mayor oferta de vivienda

(2) Análisis de objetivos

Detectar quiénes serían los principales involucrados en un programa es una instancia fundamental para seleccionar las estrategias óptimas, permitiendo viabilizar las acciones del programa y dimensionar su alcance real. Los involucrados pueden presentar una dinámica particular en cada etapa del programa según su posición, fuerza e intensidad frente al mismo.

Características de los involucrados:• Posición; indica cuál es su grado de apoyo u oposición al programa. También se considera si los actores sostienen otras alternativas de solución frente a la necesidad identificada• Fuerza; indica el poder para afectar el programa (positiva o negativamente)• Intensidad; indica la importancia que el involucrado le adjudica al proyecto

Tener presente esta información es crucial para determinar los modos de participación de los involucrados en la identificación, análisis y selección del problema objetivo y de las alternativas de solución.

(3) Análisis de los involucrados (stakeholders)

PASO 1: Identificación de accionesEsta etapa consiste en formular acciones prácticas y efectivas que solucionen el problema planteado. Para realizarlo, se deben operacionalizar aquellos medios ubicados en la parte más baja del árbol de objetivos. Se recomienda contar con una cantidad considerable de acciones para cada medio.

Posibles propuestas de acción para el programa “Viviendas Felices”Para el medio “Mayor oferta de vivienda”, las acciones pueden ser:o Construir nuevas viviendaso Reubicar a las familiasPara el medio “Aprovechamiento de programas habitacionales gubernamentales”, la acción puede ser:o Desarrollar campaña de información sobre programas gubernamentales

(4) Selección de la estrategia óptima

PASO 2: Postulación de alternativasUna vez planteadas las diferentes acciones, es útil visualizar su relación en términos de si son complementarias o excluyentes.

Por complementarias entendemos aquellas acciones que son factibles y contribuyen a la solución al ser implementadas en conjunto. Las excluyentes en cambio no pueden implementarse juntas.Una vez construido este panorama es más fácil entender cuáles acciones son excluyentes y agrupar aquellas complementarias, para así proponer las diversas alternativas de solución.

PASO 3: Selección de la estrategia óptima La selección de una de las alternativas se realiza analizando su nivel de incidencia, de factibilidad y de viabilidad física, técnica, presupuestaria, ambiental, política, institucional y cultural de ser aplicada. Finalmente, entre las alternativas viables se escogerá aquella con mayor pertinencia, eficiencia y eficacia.Bajo estos criterios, una vez identificado el problema y después de haber acordado sobre la mejor alternativa de solución (resultado del programa) es posible identificar aquellas áreas sobre las que el potencial programa no va a poder intervenir y aquellas sobre las cuales el programa va a poder producir una mejora. Con esto en consideración es posible comenzar a pensar en el diseño de un programa.

La Estructura del Programa sintetiza la información construida en las instancias anteriores permitiendo recuperar una dimensión global.

• El árbol de objetivos aporta información para la definición de los resultados del programa y la determinación de los impactos a largo plazo más relevantes • Los productos y actividades se derivan de la selección de la estrategia óptima

Una vez armada esta Estructura del Programa se dispone de toda la información necesaria para volcar dentro de la Cadena de Resultados.

(5) Elaboración de la Estructura del Programa

Cadena de ResultadosLa Cadena de Resultados da una definición lógica y plausible de cómo interactúan los insumos, actividades y productos para lograr los resultados del programa y sus consecuentes impactos a largo plazo.

Tiene la siguiente forma:

La Cadena de Resultados define la lógica causal del programa y tiene una doble lectura: en la etapa del diseño, el proceso se construye desde el impacto de largo plazo hasta los insumos y en la etapa de implementación, se revisa en sentido inverso.

ProductosSon los bienes tangibles y los servicios que producen las actividades del programa.

¿Qué entregará el programa?• Los productos están directamente bajo el control del organismo ejecutor • Tienen que ser suficientes para lograr los resultados del programa.

Resultados del programaSon los resultados que se espera alcanzar una vez que la población objetivo se beneficie de los productos del programa.

¿Por qué el programa es necesario para los beneficiarios?• Describe el efecto directo al final del período de implementación• Es el cambio que fomentará el programa• Es una hipótesis sobre lo que debiera ocurrir como consecuencia de producir y utilizar los productos.

ActividadesSon las acciones emprendidas y el trabajo realizado para transformar los insumos en productos.

¿Qué se hará?• Las actividades son aquellas acciones que el programa tiene que llevar a cabo para producir cada producto e implican la utilización de insumos• Son el punto de partida del plan de implementación• Deben estar en orden cronológico y agrupadas por productoSe sugiere armar el detalle de las actividades, el tiempo que tomarán y los recursos que implican en un documento separado.

InsumosSon los recursos humanos y materiales específicos que se requieren para realizar las actividades del programa.

Además, la construcción de una cadena de resultados es fundamental al momento del diseño del programa y permite pensar estratégicamente con una mirada puesta en la evaluación. La identificación de indicadores y de métodos de verificación se transforma así en piezas clave de este proceso.

Impacto a largo plazo Son los objetivos finales a los que contribuye el programa.

¿Por qué el programa es importante para los beneficiarios y la sociedad?• El impacto a largo plazo representa un objetivo de desarrollo a largo plazo• No implica que el programa, por sí solo, sea suficiente para lograr ese fin.

Insumos Actividades Productos Resultados

del programa

Impactos a largo plazo

La Cadena de Resultados tiene dos partes principales: Implementación: El trabajo programado producido por el proyecto, que incluye los insumos, las actividades y los productos. Se trata de los aspectos que puede supervisar directamente el organismo ejecutor para medir el desempeño del programa. Resultados: Se refiere a lo que se ha denominado resultados del programa e impacto de largo plazo en la cadena de resultados. No dependen solo del control directo del programa sino también de cambios de comportamiento de los beneficiarios del programa. En otras palabras, dependen de las interacciones entre el lado de la oferta (implementación) y el lado de la demanda (beneficiarios). Estos son los aspectos que se someten a la evaluación de impacto para medir la efectividad.

Ejemplo de Cadena de Resultados del programa “Viviendas Felices”

Insumos Actividades Productos Resultados

del programa

Impactos a largo plazo

Viviendas unifamiliares construidas y entregadas a la población objetivo del programa

Instalación de alcantarillado

Pavimentación de calles

Ejecución de campaña

Instalación de electrificación

Instalaciones de agua potable

Obras de construcción

Relocalización de los

beneficiarios

Diseño de campaña

Campaña de información,

capacitación y sensibilización

ejecutado

Mejores condiciones

habitacionales en Álamos

Contribuir a mejorar las

condiciones de vida de las familias en situación

vulnerable

Materiales de construcción

Materiales para la instalación

eléctrica

Empresa constructora

Acuerdo con Aysa

Capacitadores

Material de difusión:

folletería y banners

Materiales didácticos

Empresa de mudanza

La matriz incluye los mismos componentes de la cadena de resultados especificando indicadores, medios de verificación y supuestos para cada uno. Aporta información valiosa en las instancias de monitoreo y evaluación.

Cada columna se comprende de la siguiente manera:

Obje%vos   Indicadores   Medios  de  Verificación   Supuestos  

Impacto  a  Largo  Plazo:  El  obje(vo  final  del  programa.  Obje(vos  de  largo  plazo.    Cambios  en  los  resultados  producidos  por  múl(ples  factores.  

       

   

Resultados  del  programa:  Uso  de  los  productos  que  realiza  la  población  beneficiaria.    No  totalmente  bajo  el  control  del  organismo  ejecutor.  

   

   

   

Productos:  Bienes  resultantes  de  la  transformación  de  insumos  en  productos  tangibles.    Bienes  y  servicios  producidos  bajo  el  control  del  organismo  ejecutor.          

   

Ac%vidades:  Acciones  emprendidas  o  trabajo  realizado  para  transformar  los  insumos  en  productos  específicos.      Serie  de  ac(vidades  emprendidas  para  producir  bienes  y  servicios.            

       

Insumos:  Recursos  financieros,  humanos  y  de  otro  que  se  movilizan  para  realizar  las  ac(vidades.    Presupuestos,  dotación  de  personal  y  otros  recursos  disponibles          

   

Indicadores Constituyen una buena medida del desempeño del programa.•Son los resultados específicos a alcanzar. Presentan información necesaria para determinar el progreso hacia el logro de los objetivos establecidos por el programa.•Como regla general, los indicadores deberán cumplir con determinados criterios. En otras palabras, deben ser EMARF*. o Específicos: para medir la información de forma precisa y sin ambigüedad o Medibles: para asegurar que es factible obtener la información o Atribuíbles: para asegurar que cada indicador esté relacionado con los logros del programa o Realistas: para asegurar que los datos se pueden obtener puntualmente, con una frecuencia razonable y a un costo razonable o Focalizados: en la población objetivo y enmarcados en el tiempo.*De las siglas en inglés SMART.

Medios de verificaciónIndican de dónde se obtendrá la información para construir los indicadores. Los medios de verificación pueden ser:•Datos administrativos: por ejemplo, recibos presentados•Datos primarios: información que produce el programa a través de encuestas, entrevistas, observación, etc. •Datos secundarios: información estadística preexistente

SupuestosSon los factores externos que están fuera del control de los responsables del programa y que inciden en el éxito o fracaso del mismo (ambientales, financieros, institucionales, sociales, políticos, climatológicos u otros factores).•Si no se cumplen, ponen en riesgo los distintos niveles de objetivos del programa.

ObjetivosEn esta columna se plasma la Cadena de Resultados.

Matriz

Matriz del programa “Viviendas Felices”

    Obje%vos   Indicadores   Medios  de  verificación   Supuestos  

Impacto    a  largo  plazo  

Contribuir  a  mejorar  las  condiciones  de  vida  de  las  familias  en  situación  vulnerable.  

Al  finalizar  el  programa  el  acceso  a  servicios  (agua  potable  y  electricidad)  se  ha  incrementado  en  un  70%.  

Registros  de  la  oficina  de  planeación  del  municipio  (datos  secundarios).  

   Al  año  de  finalizado  el  programa    ha  mejorado  el  nivel  de  seguridad  ciudadana  en  un  30%.  

Registros  de  la  oficina  de  planeación  del  municipio  (datos  secundarios).  

Al  año  de  finalizado  el  programa  ha  disminuído  el  nivel  de  violencia  intrafamiliar  en  un  20%.  

Registros  de  la  oficina  de  planeación  del  municipio  (datos  primarios).  

Resultado  del  programa  

Mejores  condiciones  habitacionales  y  de  convivencia  en  Álamos.  

Las  condiciones  de  hacinamiento  de  68  familias  en  Álamos  han  disminuído  de  4  personas  por  habitación  a  2.   Registros  del  proyecto.  

Los  patrones  culturales  de  la  comunidad  facilitan  el  cambio  para  la  aceptación  del  modelo  habitacional  y  de  convivencia  como  una  alternaMva  para  mejorar  condiciones  de  vida.  

Al  finalizar  el  programa  el  100%  de  las  obras  públicas  construídas  y  equipadas  se  encuentran  en  buen  estado  de  funcionamiento  en  concordancia  con  el  Plan  de  Mantenimiento  establecido.  

Registros  del  proyecto  sobre  el  mantenimiento  de  obras  y  de  las  oficinas  de  obras  públicas  del  municipio  (datos  administraMvos).  

el  80%  de  los  beneficiarios  percibe  que  ha  mejorado  la  convivencia  en  el  hogar  y  han  parMcipado  de  al  menos  3  acMvidades  comunitarias  durante  el  primer  año  de  finalizado  el  programa.  

Encuestas  periódicas  y  registros  de  los  centros  comunales  (datos  primarios  y  administraMvos).  

Productos  

Viviendas  unifamiliares  construídas  y  entregadas  a  población  objeMvo  del  programa.  

68  conexiones  domiciliarias  de  servicios  públicos  instalados  en  concordancia  con  las  normas  vigentes,  al  final  del  programa.  

Registros  de  propiedad  de  cada  vivienda  expedido  por  la  oficina  de  catastro  municipal.  

Se  aplican  las  normas  y  políMcas  municipales  de  ordenamiento  y  regularización  de  asentamientos  habitacionales  urbanos.  Existe  un  sistema  de  subsidio  cruzado  que  garanMza  un  consumo  mínimo  familiar  de  servicios  públicos  básicos  (acueducto,  electricidad,  alcantarillado)  una  vez  recibida  la  vivienda  por  cada  familia.  

68  familias  reciben  Xtulos  de  propiedad  de  su  respecMva  vivienda  por  parte  del  Municipio,  al  finalizar  el  programa  .  

Reportes  finales  del  proyecto.  Registros  de  propiedad  de  cada  vivienda  expedido  por  la  oficina  de  catastro  municipal.  

2042  m2  de  calles  y  pasajes  construídos  al  final  del  programa  bajo  normas  de  construcción  del  Ministerio  de  Vivienda.  

Registros  de  inspección  realizados  por  el  municipio;  Permisos  y  cerMficados  de  construcción  y  cerMficaciones  ambientales  expedidas  por  la  autoridad  respecMva;  planos  y  diseños  de  la  obra.  CerMficación  del  municipio  entregado  a  las  empresas  constructoras  sobre  el  recibimiento  de  obra  a  saMsfacción.  

Campaña  de  información,  capacitación  y  sensibilización  ejecutado.  

Durante  los  2  años  del  programa  se  han  realizado  al  menos  10  acMvidades  de  sensibilización  y  capacitación  en  temas  relacionados  con  violencia  y  parMcipación  ciudadana.  

Reportes  de  ejecución  de  acMvidades  de  sensibilización  del  proyecto.  

Los  beneficiarios  son  capaces  de  trasladarse  hacia  el  lugar  de  las  campañas  

Ac%vidades  

Instalación  de  alcantarillado.   Instalación  de  250  alcantarillas  en  un  año.  Presupuesto:  4  848  572.  

Proforma  presupuestaria,  registros  contables,  inventarios,  informes    de  avance  del  proyecto.  

Licitaciones  de  las  obras  se  llevan  a  cabo  según  los  planes  de  ejecución  del  programa  plazos,  calidad,  canMdad.  Durante  la  ejecución  del  programa  el  número  de  los  beneficiarios  se  manMene  dentro  de  una  banda  de  +/-­‐  10%.  

Pavimentación  de  calles.   Pavimentación  de  5km  de  calles  en  un  año.  Presupuesto:  8  223  377.  

Instalación  de  electrificación.   Instalación  de  3km  de  cables  eléctricos  en  un  año.  Presupuesto:  2  337  184.  

Instalaciones  de  agua  potable.   Instalación  de  10  suministros  de  agua  potable  en  el  primer  año  de  proyecto.  Presupuesto:  3  736  538.  

Obras  de  construcción.   Construcción  de  68  viviendas  y  5  obras  de  urbanización  en  un  año.  Presupuesto:  151  033  610  

Instalaciones  domiciliares.   68  instalaciones  domiciliares  en  el  primer  año.  Presupuesto:  15  043  028.  

Relocalización  de  los  beneficiarios.  

Relocalización  del  100%  de  los  beneficiarios  al  concluir  el  proyecto.  Presupuesto:  422  500.  

Diseño  de  campaña.   2  diseños  de  folletería  para  ser  entregadas  en  el  primer  año.  5  banners  diseñados  en  el  primer  año.  Presupuesto:  1  216  800.  

Ejecución  de  campaña.  

10  acMvidades  de  sensibilización  y  capacitación  a  cargo  de  profesionales.  500  hojas  de  folletería  entregadas  en  el  primer  año.  Colocación  de  15  banners  en  el  primer  año.  Presupuesto:  15  000  000.  

Desde la UdEP sabemos que el diseño y la implementación de cualquier programa se desarrollan en un escenario dinámico y cambiante. En este sentido, entendemos que las herramientas tienen que ser útiles para quienes diseñan y gestionan programas y promovemos que sean miradas y entendidas desde esta perspectiva.

Apuntamos a aportar una mirada estratégica al diseño y a la evaluación de los programas sin olvidarnos que tienen que agregar valor a quienes trabajan en los mismos, y sobre todo a quienes se benefician con ellos.

Desde ya, no duden en contar con el equipo de UdEP para remirar cada caso particular.

UdEPUnidad de Evaluación de ProgramasSubsecretaría de Planeamiento y Control de GestiónJefatura de Gabinete de Ministros

udep@buenoasaires.gob.arwww.buenosaires.gob.ar/evaluaciondeprogramas

UdEPUnidad de Evaluación de ProgramasSubsecretaría de Planeamiento y Control de Gestión

Jefatura de Gabinete de Ministros