Mapa de metodologas de monitoreo y evaluacin de impacto social

Es comn encontrar que las evaluaciones de proyectos sociales se enfoquen ms en los

insumos y productos generados que en los resultados e impacto. En este sentido, las

evaluaciones que llevan adelante organizaciones del sector pblico y privado, dan cuenta

por lo general de qu se ha hecho con la ejecucin de un proyecto o programa sin hacer

especial hincapi en qu ha cambiado como consecuencia de la implementacin.

Sin embargo, existe la necesidad cada vez ms extendida de centrarse no slo en la

evaluacin de resultados sino en su impacto para poder conocer cules han sido los

efectos concretos de una intervencin a travs de un proyecto.

Para poder colaborar con distintas organizaciones en el desarrollo de evaluacin de

impacto, ZIGLA Consultores ha desarrollado el Mapa de Metodologas de Medicin

y Evaluacin de Impacto Social.

Tambin puedes disear tu propio Mapas de Monitoreo y Evaluacin. A travs del

Mapa las organizaciones pueden contar con un sistema de M&E especialmente formulado

para sus objetivos y alineado con su misin.

Algunos ejemplos de Mapas Diseados especficamente para Organizaciones.

Cmo utilizar el Mapa de M&E?

Es muy simple! Tienes que ir al Mapa de M&E y seleccionar la metodologa que quieres

conocer y analizar cules son sus usos y costos de aplicacin. Al seleccionarla, podrs

ver en detalle y compararla con otras metodologas.

Tambin podrs comentar si has utilizado esa metodologa o herramienta y permitirnos

aprender de tu experiencia.

Qu Metodologa de Evaluacin utilizan en tu organizacin?

Cuntanos aqu cmo evalan y miden el impacto de los proyectos de tu organizacin.

Haga click en cada una de las metodologas y herramientas que presenta el mapa y conozca sus caractersticas.

Mapa de Monitoreo y Evaluacin de Impacto Social

El Mapa de M&E de impacto social es una iniciativa de ZIGLA Consultores que

organiza y describe y concentra en un mismo espacio, las principales etapas,

herramientas y metodologas de evaluacin y medicin de impacto.

Para conocer un poco ms por donde empezar a la hora de definir cmo medir el impacto,

se puede ingresar a cada una de las metodologas que presenta el mapa y conocer

para qu son utilizadas.

Lnea de Base

La lnea de base es la medicin inicial de todos los indicadores contemplados en el

diseo de un proyecto de desarrollo social, permitiendo conocer el valor de los

indicadores al momento de iniciarse las acciones planificadas, es decir, toma lo foto

inicial del proyecto facilitando la comparacin tanto en el monitoreo como en la

evaluacin.

Si bien la lnea de base es parte de la etapa de Identificacin y Diseo, ZIGLA Consultores

considera que es un componente transversal ya que su construccin al inicio del proyecto

es fundamental para hacer un adecuado monitoreo y evaluacin.

Cambio ms significativo

El Cambio Ms

Significativo (MSC -The most significant change) es una metodologa cualitativa que

sirve para evaluar y monitorear de manera participativa el avance de un proyecto sin

la necesidad de indicadores.

El CMS consiste en recoger los testimonios de cambio, ocurridos en un periodo

determinado, ocasionados por la intervencin de un proyecto. Por lo tanto, permite

complementar los sistemas formales de monitoreo y evaluacin

Anlisis costo beneficio

El anlisis de costo-beneficio y el de la eficacia en funcin de los costos son

instrumentos para determinar si los costos de una actividad pueden estar o no

justificados por los resultados y los efectos. El anlisis de costo-beneficio mide los

insumos y resultados en trminos monetarios.

La tcnica de anlisis de costo-beneficio tiene como objetivo fundamental

proporcionar una medida de la rentabilidad de un proyecto, mediante la

comparacin de los costos con los beneficios logrados en la realizacin del mismo.

Se debe utilizar al comparar proyectos para la toma de decisiones

La diferencia esencial entre el anlisis de costo-beneficio y los mtodos ordinarios de

evaluacin de inversiones que emplean las empresas, es el nfasis en los costos y

beneficios sociales. El objetivo consiste en identificar y medir las prdidas y las ganancias

en el bienestar econmico que recibe la sociedad en su conjunto.

Anlisis costo eficiencia

El anlisis de

costo-eficiencia es un instrumento para determinar si los costos de una actividad

pueden estar o no justificados por los resultados de un proyecto o programa en

trminos de eficiencia.

La principal diferencia con el anlisis costo-beneficio es que el anlisis de la eficiencia

en funcin de los costos estima los insumos en trminos monetarios y los resultados en

trminos cuantitativos no monetarios (por ejemplo, mejores calificaciones de lectura para

los alumnos).

Teora del cambio

La teora del cambio es una herramienta de planificacin.

Construido alrededor de la ruta del cambio (Mapa de la Teora del Cambio) se describen

los tipos de intervenciones (un solo programa o una iniciativa integral de la comunidad)

que producen los resultados descritos en el camino de un mapa de cambio. Cada resultado

en la ruta del cambio est vinculado a una intervencin, revelando la red a menudo

compleja de la actividad que se requiere para lograr el cambio.

Marco lgico

El marco lgico es una metodologa desarrollada para la planificacin de la gestin

de proyectos orientado por objetivos que facilita el proceso de conceptualizacin,

diseo y evaluacin de proyectos, permitiendo describir de manera operativa y matricial

los aspectos ms importantes de un proyecto.

En el marco lgico la ejecucin de un proyecto es consecuencia de un conjunto de

acontecimientos con una relacin causal interna, la lgica del proyecto. Es decir, facilita la identificacin de las relaciones de causalidad previstas en la cadena

formada por los siguientes componentes: insumos, procesos, productos (incluida la

cobertura o alcance entre los distintos grupos beneficiarios), resultados y efectos. Asimismo, permite determinar los indicadores de desempeo en cada fase de esta cadena,

as como los riesgos que podran impedir el logro de los objetivos.

Es un instrumento til para que el equipo involucrado en un proyecto de desarrollo llegue

a un consenso sobre la concepcin general del mismo. Durante la implementacin del

proyecto, el marco lgico sirve tambin como instrumento til para examinar los

progresos y tomar medidas correctivas.

Indicadores cualitativos y cuantitativos

El indicador de

desempeo o de seguimiento, es un instrumento de medicin de las principales

variables asociadas al cumplimiento de los objetivos y que a su vez constituyen una

expresin cuantitativa y/o cualitativa de lo que se pretende alcanzar con un objetivo

especfico establecido.

Los indicadores de desempeo son instrumentos que permiten medir los insumos,

procesos, productos, resultados y efectos de los proyectos, programas o estrategias

de desarrollo. Cuando estn respaldados por sistemas acertados de recopilacin de datos,

anlisis e informacin, los indicadores permiten a los administradores seguir los

progresos, demostrar los resultados y adoptar medidas correctivas para mejorar la

prestacin de servicios.

Lo que se busca con los indicadores de desempeo es ayudar o colaborar con los tipos de

evaluacin, a responder interrogantes claves sobre cmo se ha realizado una determinada

intervencin, si se han cumplido los objetivos, el nivel de satisfaccin de la poblacin

objetivo, etc.

Mtodos de evaluacin rpida

Son mtodos rpidos y de bajo costo para obtener las opiniones y comentarios de los

beneficiarios y otras partes interesadas, con el fin de atender las necesidades de

informacin de los responsables de la toma de decisiones.

La experiencia muestra que los recursos disponibles y los resultados deseables obligan a

utilizar mtodos de muy distinta ndole, desde encuestas de poblacin y en grupos

especiales y sistemas de registro de informacin, hasta aproximaciones cualitativas a

poblaciones de difcil acceso. Es por esto que los mtodos de evaluacin rpida han

adquirido relevancia como primera aproximacin en la valoracin del problema,

con el objetivo de iniciar intervenciones en funcin de la utilidad que muestran en

tiempos mnimos y con recursos escasos.

Este tipo de mtodos tiene como principal objetivo hacer estimaciones sobre la magnitud,

extensin y caractersticas del problema en forma confiable y oportuna para

complementar informacin procedente de otras fuentes. Su importancia radica en el hecho

de que son capaces de aportar informacin contextual, aspecto que los mtodos

cuantitativos no pueden brindar.

Mtodo de identificacin y diseo

Por qu incluimos el diseo de proyectos en el Mapa de M&E?

La identificacin y diseo de proyectos y programas sociales consta de una serie de pasos

que no siempre son llevados a cabo en su totalidad.

Ms all de la rigurosidad metodolgica, las circunstancias especificas en las que nace

una gran cantidad de proyectos, hace que se omitan algunos de los pasos fundamentales

para esta etapa, y que deberan actuar como cimientos del xito en la implementacin,

monitoreo y evaluacin de los proyectos.

Seguimiento de los resultados

Esta metodologa

es complementaria al seguimiento de la implementacin. El seguimiento de los

resultados representa un cambio distintivo con respecto al seguimiento netamente de los

productos de los proyectos.

El seguimiento de los resultados es un proceso sistemtico y continuo de recoleccin y

anlisis de datos para medir el desempeo de las actividades de los proyectos dirigidas

al logro de resultados.

El responsable de seguimiento debe relevar informacin de manera permanente sobre los

progresos conseguidos en funcin del logro de un resultado, y as estar en condiciones de

comparar peridicamente la situacin actual con respecto a la lnea de base de los

indicadores de resultados y evaluar y analizar la situacin.

Gestin basada en resultados - GBR

La gestin basada en resultados (GBR) es un enfoque de gestin a travs del cual una

organizacin se asegura de que sus procesos, productos y servicios contribuyan al logro

de resultados definidos. Esta metodologa ofrece un marco coherente para la planificacin

y la gestin estratgicas, ya que permite mejorar los aspectos de aprendizaje y de

responsabilidad.

La gestin basada en resultados es tambin una estrategia amplia de gestin dirigida a

lograr cambios importantes en el funcionamiento de las organizaciones, siendo

importante la mejora del desempeo y el logro de resultados.

La clave de xito de este enfoque es definir de manera realista los resultados que se espera

obtener, y posteriormente seguir el progreso hacia el logro de los resultados esperados,

integrando las lecciones aprendidas en las decisiones de gerencia y presentando informes

sobre el desempeo.

Identificacin / diseo

Por qu

incluimos el diseo de los proyectos en el Mapa de M&E?

La etapa de identificacin y diseo de proyectos es una etapa fundamental en el ciclo de

vida de un proyecto social y condiciona el xito de la evaluacin posterior.

Por este motivo, el mapa de M&E resalta la importancia de hacer un buen diseo de los

proyectos, alineados con una estrategia integral de Evaluacin de resultado e impacto.

DISEO DE PROYECTOS

Esta es una etapa de anlisis en la cual se identifica el problema a resolver a travs del

uso de informacin primaria y secundaria. La clara identificacin y medicin del un

problema social permite conocer la magnitud de la brecha entre la situacin actual y la situacin esperada lo cual facilita plantear los objetivos que procuran disminuirla o eliminarla.

En el proceso de identificacin es importante determinar la magnitud del problema, los

factores que inciden sobre una cantidad de personas en una localidad, la importancia

otorgada al problema por las polticas y los programas sociales, la perspectiva conceptual

y cuantitativa de las instituciones que atienden el problema, entre otros.

IDENTIFICACIN DE PROYECTOS

En esta etapa se formulan las alternativas del programa o proyecto, las opciones

adecuadas y viables para alcanzar los objetivos, los resultados e impacto deseados y con

base en ellos se disea el programa o proyecto. Las alternativas surgen de la teora

disponible, de la experiencia de los especialistas en el rea, de evaluaciones ex-post

llevadas a cabo en proyectos similares o de el rbol de objetivos en caso de ser utilizado

como herramienta en esta instancia.

Un adecuado diseo de los proyectos permite un mejor seguimiento y evaluacin ex post

de los resultados e impactos obtenidos por parte de los ejecutores de los proyectos y, de

quienes monitorean las acciones a nivel central. Una buena definicin de objetivos,

productos y actividades permite definir los indicadores de logro para verificar los

resultados y el impacto que producen los distintos proyectos en los distintos actores

involucrados.

Monitoreo

La etapa de monitoreo consiste en el seguimiento sistemtico de desempeo y progreso

de proyectos y programas sociales en relacin con los objetivos planteados en un

contexto de desarrollo.

El alcance del monitoreo de proyectos y programas sociales va mucho ms all del

cumplimiento de actividades y tareas en tiempo y forma durante su implementacin.

El monitoreo se realiza con dos objetivos:

(i) hacer un seguimiento del desarrollo de las actividades planteadas para optimizar

procesos.

Para lograr el primer objetivo, es necesario hacer un examen peridico de las actividades

y gestin administrativa para evaluar la gestin e identificar aspectos del proceso

susceptibles de mejora. Ac el foco del anlisis est en la eficiencia, eficacia y la

focalizacin.

(ii) medir los resultados de la implementacin.

Para lograr el segundo, es necesario analizar los xitos y fracasos detectados al comparar

lo realizado con lo programado, algn estndar (promedio u ptimo) y/u otros programas

o proyectos y de acuerdo con ello identificar los cambios que puedan generar mejores

resultados.

Evaluacin de resultados

La evaluacin es fundamental dentro del ciclo de vida del proyecto ya que genera

evidencias e informacin objetiva que le permiten a los gestores tomar decisiones fundamentadas y planear de forma estratgica.

La evaluacin de resultados se refiere al anlisis de los resultados netos del proyecto, es

decir, corresponde a las alteraciones en el grupo de beneficiarios que son atribuidas nica

y exclusivamente al proyecto, por lo que, de otra manera, los resultados no se hubieran

producido sin el proyecto.

IMPORTANTE: La evaluacin de resultados se centra especficamente en los resultados

de un programa o proyecto y no aporta informacin sobre el porqu de los resultados

obtenidos.

Evaluacin de impacto

Evaluacin de impacto es la identificacin sistemtica de los impactos - positivos o

negativos, intencionales o no - en los hogares, las instituciones y el medio ambiente,

causados por una actividad de desarrollo determinado, como un programa o proyecto.

Esta etapa ayuda a comprender mejor la medida en que las actividades lleguen a los

destinatarios y la magnitud de sus repercusiones sobre el bienestar de las personas.

Las evaluaciones de impacto pueden variar de tcnicas, desde encuestas por muestreo a

gran escala en las que las poblaciones de proyectos y grupos de control se comparan antes

y despus, y posiblemente en varios puntos durante la intervencin del programa, a otras

como las evaluaciones participativas.

La evaluacin de impacto proporciona respuestas a algunas de las cuestiones de desarrollo

ms central Hasta qu punto estamos haciendo una diferencia? Cules son los

resultados sobre el terreno? Cmo podemos hacerlo mejor?

Herramientas cuantitativas

01 / ENCUESTAS FORMALES

Una encuesta es un conjunto de preguntas normalizadas dirigidas a una muestra

representativa de la poblacin, con el fin de conocer hechos especficos. Las encuestas

formales pueden utilizarse para recopilar informacin estandarizada de una muestra

cuidadosamente seleccionada de personas y hogares. Las encuestas recopilan con

frecuencia informacin comparable sobre un nmero relativamente grande de personas

de grupos destinatarios concretos.

02 / MUESTREO ALEATORIO

El muestreo es una herramienta de investigacin cientfica. Su funcin bsica es

determinar qu parte de una realidad en estudio (llmese poblacin o universo) debe

estudiarse con la finalidad de hacer inferencias sobre dicha poblacin. Contar con una

muestra adecuada significa lograr una versin simplificada de la poblacin, que

reproduzca de algn modo sus rasgos bsicos. Una muestra representativa es aquella que

rene aproximadamente las caractersticas de la poblacin que son importantes para la

investigacin.

Existen diferentes tipos de muestreo aleatorio:

Muestreo aleatorio simple

Muestreo aleatorio sistemtico

Muestreo aleatorio estratificado

Muestreo aleatorio por conglomerados

03/ ENTREVISTAS BASADAS EN CUESTIONARIO

Estas entrevistas son tambin conocidas como Entrevistas estructuradas. Se caracterizan por estar estandarizadas, estn basadas en cuestionarios y preguntas y en el

mismo orden a cada uno de los entrevistados. Al utilizar este tipo de entrevista el

investigador tiene poca libertad de formular preguntas independientes generadas por la

interaccin durante la entrevista.

La diferencia entre este tipo de entrevistas y las denominadas en profundidad es que la informacin es ms fcil de procesar, ya que hay uniformidad en la informacin obtenida,

simplificando as el anlisis comparativo. Por otro lado, diferencia entre esta entrevista y

las encuestas formales, es que a travs de esta herramienta se le permite al entrevistado

dar mayor nivel de detalle en sus respuestas.

Herramientas cualitativas

01/ ENTREVISTA A INFORMANTES CLAVES

La entrevista a informantes claves es una herramienta ampliamente usada en las

investigaciones. El trmino informante clave se aplica a cualquier persona que pueda

brindar informacin detallada debido a su experiencia o conocimiento de un tema

especfico. El informante clave se elige dependiendo del tema que le interesa en ese

momento. El investigador sencillamente elegir un tema de conversacin con el

entrevistado y luego dejar que el entrevistado hable sobre el tema de manera abierta. Si

la persona entrevistada conoce el tema que se discute puede convertirse en un informante

clave.

02/ FOCUS GROUPS

El focus group o grupo focal es una herramienta de investigacin colectivista que se

desarrolla de manera grupal y se centra en la pluralidad y variedad de las actitudes,

experiencias y creencias de los participantes, y lo hace en un espacio de tiempo

relativamente corto. Se denomina focal porque centra su atencin e inters en un tema especfico con el que tiene relacin, por estar cercano a su pensar y sentir. Esta

herramienta realiza su principal trabajo de bsqueda por medio de la

interaccin discursiva y la contrastacin de las opiniones de sus miembros.

03/ OBSERVACIN DIRECTA

Esta tcnica consiste en observar atentamente una situacin especfica, tomar informacin

y registrarla para su posterior anlisis. La observacin es un elemento fundamental de

todo proceso investigativo, en ella se apoya el investigador para obtener el mayor numero

de datos.

Existen dos clases de observacin: la Observacin no cientfica y la observacin

cientfica. La diferencia entre una y otra est basada en la intencionalidad: observar

cientficamente significa observar con un objetivo claro, definido y preciso, en donde el

investigador sabe qu es lo que desea observar y con qu objetivo quiere hacerlo, lo cual

implica que debe preparar cuidadosamente la observacin. Observar no cientficamente

significa observar sin intencin, sin objetivo claro y por tanto, sin preparacin previa.

04/ ENTREVISTAS EN PROFUNDIDAD

Las entrevistas en profundidad se realizan con una sola persona a la vez y son una forma

no estructurada e indirecta de obtener informacin. Esta tcnica en la investigacin puede

tener una duracin de 30' y hasta ms de una hora, dependiendo del tema y la dinmica

de entrevista. Para ello se requiere la habilidad de un entrevistador que provoque un

ambiente de confianza con el entrevistado a fin de que hable con libertad de sus

expectativas, percepciones y conocimientos.

Dentro de una entrevista en profundidad es posible combinar tcnicas proyectivas a fin

de profundizar en algn tema o de obtener respuestas que muchas veces el entrevistado

no est dispuesto en forma racional y espontnea a proporcionar. Como tcnica de

investigacin, la entrevista, abarca diversas dimensiones: ampla y verifica el

conocimiento cientfico; obtiene o posibilita llevar experiencias de la vida diaria del ser

humano al nivel del conocimiento y elaboracin cientfica.

05/ ANALISIS DE MEJORES PRCTICAS

Las mejores prcticas son aquellas experiencias de proyectos que han rendido buen o

incluso excelente servicio en un determinado contexto y que pueden ser estudiadas para

conocer sus lecciones aprendidas o para evaluar su posible replicabilidad en otros

contextos. Cuando hablamos del anlisis de mejores prcticas, nos referimos en primer

lugar a la identificacin de proyectos similares al que se est diseando, implementando

o monitoreando, para posteriormente analizar sus factores de xito.

De los resultados al impacto

Qu significa pasar de los resultados al impacto?

Antes de responder esta pregunta, vamos a repasar algunas definiciones.

Insumos: los recursos humanos y equipamiento necesarios para las actividades del

proyecto o programa social.

Productos: los conocimientos, habilidades, actitudes, equipos, productos y servicios que

resultan de la terminacin de las actividades realizadas en el corto plazo.

Resultados: cambios que se logranen los marcos institucionales, las organizaciones, las

comunidades y los comportamientos sociales, en el mediano plazo.

Impacto: cambios que se logran en la situacin en que se encuentra la gente, a largo plazo

y de manera sostenida.

Impacto vs Resultados

Es muy comn que las organizaciones cuenten con instancias de evaluacin de resultados

en la mitad y al final de un proyecto. Estas evaluaciones se centran en conocer los efectos

en el corto y mediano plazo de las actividades que se realizaron en el proyecto.

Sin embargo, este tipo de evaluaciones no dan cuenta "de qu ha cambiado" (en una

comunidad determinada por ejemplo) luego de la implementacin de un proyecto. Para

conocer eso, debe realizarse una evaluacin de impacto. Como el impacto son cambios

en el largo plazo y de manera sostenida, este tipo de evaluaciones deben hacerse unos

aos posteriores al finalizarse un proyecto.

En suma, pasar de los resultados al impacto es empezar a respondernos la pregunta

qu cambio con la aplicacin del proyecto? en vez de respondernos qu se hizo en

el proyecto?