modulo5 presentacion
TRANSCRIPT
Módulo 5Evaluación de Proyectos Sociales
Conocer los distintos tipos de evaluación de proyectos yprogramas que se pueden utilizar.
Conocer los distintos niveles donde se puedeevaluar, dependiendo de las fases del ciclo del proyecto.
Identificar los criterios implicados en la evaluación de unproyecto de acción social desde el enfoque del marco lógico.
Profundizar en los conceptos deeficiencia, eficacia, pertinencia, impacto y viabilidad aplicados ala evaluación de un proyecto de acción social.
Analizar los factores implicados en la viabilidad de un proyecto.
Unidad Didáctica 1: ¿Qué es y cómo se aplica la evaluación?
1.1 Comprender el concepto de evaluación.
1.1.1 Qué es la evaluación y qué objetivos persigue.
1.1.2 Características de la evaluación.
1.1.3 Funciones de la evaluación.
1.2 Niveles de análisis de un proyecto.
Unidad didáctica 2: La evaluación desde el Enfoque del MarcoLógico
2.1 Criterios de evaluación de un proyecto de acción social desde elenfoque del Marco Lógico.
2.1.1 Componentes de la evaluación: eficiencia, eficacia,impacto, pertinencia, viabilidad, cobertura.
2.2 Técnicas de evaluación
2.3 Informe de evaluación
La evaluación permite tomar decisiones a partir del análisis de diferentesalternativas. Ya sea en la vida cotidiana o en la realización de un proyecto demayor o menor envergadura, la evaluación permite tomar decisionesadecuadas y racionales.
Es por ello que en todo proyecto se debe integrar de forma transversal ycontinua un proceso de evaluación. Prever desde el inicio un buensistema de evaluación del proyecto es una garantía más éxito.
A lo largo del presente módulo estudiaremos cómo la evaluación adoptadiferentes significados según la etapa del ciclo de vida del proyecto en la quese utiliza. Si es durante la formulación, la evaluación permite elegir entrediferentes alternativas; si se utiliza durante la ejecución permite modificar yadaptar diferentes aspectos del proyecto; y si se utiliza cuando el proyecto hafinalizado (ex post) puede medir el grado de consecución de los objetivospropuestos y el nivel de satisfacción de los grupos beneficiarios.
Desde una perspectiva amplia definimos la evaluación de proyectos sociales como laaplicación sistemática de métodos cualificados de las ciencias sociales con la intenciónde conocer y juzgar el diseño, procesos, resultados y efectos de las intervencionescausadas por un conjunto de medidas aplicadas en un tiempo y contexto determinado
• Rendir cuentasACCOUNTABILITY
• Perfeccionar un proyecto endesarrollo
FORMATIVA
• Evaluar un procesoSUMATIVA
• Comparar proyectosASSESSMET
Tipos y objetivos de la evaluación
Carácter útil y práctico: ha de servir para la mejora de la intervención y ha de estarorientada a la acción.
Sistematicidad durante todo el proceso de evaluación: toda evaluación ha derecoger de modo sistemático la información pertinente para la valoración de loscriterios de evaluación.
Necesidad de flexibilidad: junto con el cariz sistemático de la evaluación, ha deprimarse la flexibilidad metodológica a lo largo de todo el proceso de evaluación.
Ajuste a los plazos temporales: la evaluación tiene que responder a los plazostemporales acordados con el fin de que pueda contribuir al aprendizaje y la mejora de laintervención.
Emisión de juicios de valor: la evaluación exige el análisis valorativo de loscomponentes estudiados.
Realización antes, durante o con posterioridad a la ejecución: se trata de unaactividad que puede llevarse a cabo en las distintas fases del ciclo de las intervenciones.
Variabilidad del objeto de evaluación: la evaluación puede estar referida aldiseño de una actividad, a los procesos de ejecución o a sus resultados yefectos, previstos o no previstos, priorizando uno u otro enfoque según la finalidad deltrabajo.
Criterios de evaluación: en la evaluación se revisarán la eficacia, la eficiencia, lapertinencia, el impacto y la viabilidad entre otros componentes.
IMPROVEMENT. Retroalimentación o mejora
• Perfeccionamiento o mejora del programa o política.
• Permite la retroalimentación y el aprendizaje sobre la propiapráctica.
• Garantiza la calidad del programa.
• Refuerza la atención en el contexto del programa, lasnecesidades y naturaleza de los destinatarios y de todos losagentes críticos.
ENLIGHTENMENT. Aprovechamiento deexperiencias del pasado
• Ejemplificación o iluminación para acciones futuras .
• La evaluación contribuye a construir conocimiento desde losaportes teóricos, técnicos y metodológicos.
• Orienta sobre un modo de afrontar los problemas sociales.
ACCOUNTABILITY. Rendición de cuentas
• Práctica que forma parte del sistema democrático comoresultado del derecho a saber en qué y cómo se utilizan losfondos públicos (idoneidad, eficacia, eficiencia).
• Perspectivas del accountability: política, técnico-organizativa,perspectiva de la ciudadanía y perspectiva del cliente.
ÁMBITO DE LA EVALUACIÓN
ÁMBITO DEL PROYECTO
TIPOS DE EVALUACIÓN
FA
SE I Plan de Evaluación de un
contexto socialRealidad Social:
NecesidadesEvaluación de
diagnóstico
FA
SE II
Plan de Evaluación del diseño de un proyecto
Diseño de proyectos Evaluación de diseño
FA
SE III Plan de evaluación de la
implementación del proyecto
Implementación del proyecto
Evaluación de Implementación
FA
SE IV
Plan de evaluación de los resultados del proyecto
ResultadosEvaluación de
resultados: impacto -económica
Primera fase: estudio y análisis
de las necesidades sociales de un contexto social determinado.
Segunda fase: diseño del proyecto o
proyectos para corregir o paliar las demandas.
Tercera fase: implementación del
proyecto o puesta en funcionamiento todo el conjunto de
medidas y actividades
previstas por los que han
confeccionado el proyecto.
Cuarta fase:recoge los
resultados y efectos de las
medidas tomadas para paliar las necesidades
sociales.
El nivel I corresponde a larealización de una evaluacióndiagnóstico. Tiene por finalidad eldefinir y conocer las necesidades deuna comunidad, contextosocial, pueblo o ciudad para hacerlefrente. Haremos un plan deevaluación de un contextosocial.
El nivel II corresponde a la fase IIdel ámbito del proyecto y a larealización de una evaluación dediseño. Tiene como finalidaddetectar y conocer las posiblesdebilidades de la estructura internade un proyecto antes de su puestaen práctica.
El nivel III del ámbito de laevaluación corresponde con la faseIII del ámbito del proyecto y a laevaluación de laimplementación. Ahoraqueremos ver si el proyecto en sudesarrollo funciona como estabaprevisto.
El nivel IV corresponde con laevaluación de resultados eimpacto económico. Evaluaciónque pretende determinar si elproyecto ha logrado los objetivosque formulamos en su diseño, entérminos de resultados finales eimpacto.
Niveles de análisis de la
evaluación
Los criterios de evaluación son los puntos críticos para la valoración deproyectos y deben proporcionar conocimientos útiles para tomardecisiones sobre las intervenciones consideradas.
EFICIENCIA EFICACIA IMPACTO PERTINENCIA VIABILIDAD COBERTURA
OBJETIVO
GENERAL
OBJETIVO
ESPECÍFICO
RESULTADOS
ACTIVIDADES
RECURSOS
La eficiencia se refiere a la capacidad del proyecto para transformar losinsumos financieros, humanos y materiales en resultados; es decir,establece el rendimiento o productividad con que se realiza estatransformación.
Para poder realizar la evaluación de la eficiencia de un proyecto esimprescindible disponer del presupuesto desagregado, para la evaluaciónprevia, o de los costes reales por actividad, para las evaluacionessimultánea,
Consideraciones en la evaluación de la eficiencia:
El nivel de calidad en la administración de los recursos a disposición del proyecto.
La adecuación de las actividades a la consecución resultados.
La eventual existencia de líneas de actuación que condujeran con menor coste o en menor tiempo a los resultados.
La existencia de posibles solapamientos con otras intervenciones propias o ajenas, lo que redundaría en dificultades de gestión y costes redundantes.
La eficacia refleja en qué medida se espera alcanzar o se ha alcanzado elobjetivo específico del proyecto; teniéndose para ello en cuenta tanto elnivel de logro, así como los períodos temporales para hacerlo.
Los elementos de la matriz de planificación que deben ser máscuidadosamente observados para evaluar la eficacia son los relacionadoscon los resultados y el objetivo específico. Es esencial, por tanto, valorar lalógica vertical y ver si las actividades conducen a los resultados y éstos soncondiciones necesarias y suficientes para el logro del objetivo específico.
Consideraciones en la evaluación de la eficacia
Trata de establecer una relación causal entre lo que se va a hacer o se ha hecho,básicamente la transformación de los insumos en actividades, y el logro del objetivoespecífico.
En qué medida las transformaciones positivas del logro de este objetivo específicoobedecen a lo realizado por el proyecto.
Entre los factores externos más relevantes deben estudiarse todos aquellos factoresexternos que pasaron desapercibidos en su momento o que han adquirido especialimportancia durante la ejecución del proyecto
El impacto se refiere a los efectos positivos sobre las personas beneficiarias, alas consecuencias positivas y negativas, que un proyecto genera. Es un conceptomás amplio que el de eficacia e interroga sobre las consecuencias económicas,sociales, culturales, técnicas ambientales, etc., que se registran en el plano localo general, tanto en el corto como, especialmente, en el medio y en el largo plazo.
La consideración del impacto de un proyecto se inicia a partir del objetivogeneral y específico del mismo; una parte significativa de los impactos de unproyecto no aparecerán recogidos en la matriz de planificación.
Consideraciones en la evaluación del impacto
Los efectos negativos, esperados e inesperados.
Los efectos positivos recogidos en los objetivos generales y específicos.
La pertinencia analiza si el propósito del proyecto es coherente con lasprioridades. Se trata de apreciar si la intervención analizada va suponer unaaportación significativa a los procesos de desarrollo de los que son actores laspersonas beneficiarias tanto en el interior del propio proyecto, como en sucontexto.
La apreciación de la pertinencia de un proyecto debe iniciarse con un atentoestudio de las filas correspondientes a los resultados, objetivos específicos yobjetivos generales, comprobando que éstos responden a prioridadesclaramente identificados por cada uno de los colectivos e institucionesimplicados en la intervención
Consideraciones en la evaluación de la pertinencia
Cómo encaja el proyecto con otros proyectos que eventualmente pueden solaparse con él, o con relación al plan o programa en el que se haya inscrito.
En qué medida se ha alcanzado a las personas beneficiarias a través del proyecto y en las temáticas que los implicados consideran prioritarias.
En qué medida son coherentes la jerarquía de los objetivos y la lógica interna del proyecto; así como si se han valorado adecuadamente las hipótesis u otros factores externos.
Se entiende por viabilidad la capacidad de un proyecto para proporcionarun nivel aceptable de beneficios al grupo destinatario durante un periodosuficientemente largo una vez interrumpida la asistencia financiera y técnicadel proveedor de fondos. La evaluación de la viabilidad se plantea uninterrogante que van más allá del proyecto; es decir, se plantea sobre lacapacidad del proyecto de generar desarrollo: transformaciones cuantitativasy cualitativas que permanecen en el tiempo y se ramifican afectando a todoslos niveles de la vida social.
La viabilidad se constituye como el producto final de la lógica vertical de lamatriz de planificación.
Consideraciones en la evaluación de la viabilidadContexto propicio desde el punto de vista de la política llevada a cabo.
Objetivos precisos y realistas
Concepción adaptada a la capacidad administrativa y técnica de las personas beneficiarias.
Racionalidad y viabilidad económica del proyecto.
Participación activa de las autoridades locales y de los grupos objetivo, incluidas las mujeres.Elección de tecnologías adaptadas a las condiciones económicas y sociales de las personas beneficiarias.
Factores básicos para la viabilidad de un proyecto
Políticas
de Apoyo
Prioridades, compromisos específicos.
Iniciativas que apoyan las posibilidades de éxito del proyecto.
Aspectos
Institucionales
Capacidad institucional que contribuya a los objetivos del
proyecto y en el grado esperado.
Personal estable, adecuadamente cualificado y motivado.
Apoyo y participación directos por parte de las personas
beneficiarias.
Aspectos
Financieros y
Económicos
Financiación adecuada disponible para cubrir
funcionamiento, mantenimiento y depreciación.
Análisis de costes y rentabilidad.
Factores
Tecnológicos
Elección y adaptación de tecnología apropiada a las
condiciones existentes.
Factores básicos para la viabilidad de un proyecto
Aspectos
Socioculturales
Integración del proyecto en la comunidad local.
Impacto del proyecto sobre distintos grupos y su acceso al uso
de recursos.
Dimensión
de
género
Muy a menudo, los proyectos se han identificado y diseñado
sin tener en cuenta las relaciones establecidas entre hombres
y mujeres dentro del grupo de personas beneficiarias, lo que
ha provocado que, en ocasiones, los efectos para unos y otras
hayan sido radicalmente diferentes.
Medio
Ambiente
Explotación, gestión y desarrollo de la dotación de recursos
de acuerdo con la capacidad del medio ambiente local.
La visibilidad es la apreciación del proyecto, la institución y sus acciones en el rolsocial que está desempeñando tanto en la población beneficiaria, en la población engeneral así como en otras instituciones de su campo de acción. Conviene revisar:
• Correcta difusión del proyecto e institución.
• Adecuación de los canales de información a las personas beneficiarias.
• Si el proyecto y la institución han sido referentes en el sector de intervención.
La participación, valora y recoge el grado de implicación de los actores directos dela acción. La evaluación participada tiende a incluir en el diseño, la ejecución yelaboración final, a los diferentes “actores sociales” que afectan o han sidoafectados/as por la intervención. Es un factor clave que facilita y puede garantizar laviabilidad de una acción o proyecto, debemos tener en cuenta:
• Si la participación se ha incluido en todas las fases del proyecto.
• Si se han dispuesto los canales de participación para hombres y mujeres, niños y niñas.
• Si la participación ha sido simbólica (sólo han expresado su opinión con respecto alproyecto), si tienen un papel más significativo, si sus opiniones se tienen en cuenta, oincluso si tienen capacidad de decisión en el proyecto.
La perspectiva de género, sirve para medir los efectos, consecuencias y beneficiosdiferenciados que un programa ha tenido, o puede tener, para hombres ymujeres, niños y niñas. Evalúa si las necesidades prácticas e intereses estratégicos delas mujeres y hombres se reflejan en el proyecto o programa de formadiferenciada, así como su control y su acceso a los recursos, debemos tener en cuenta:
• Si se ha incluido la perspectiva de género en todas las fases del proyecto.
• La contribución de los distintos agentes al proyecto, su rol en los procesos de toma dedecisiones y la distribución del tiempo.
• El acceso y control a los recursos distinguiendo entre hombres y mujeres.
• El grado de organización del grupo beneficiario y su capacidad adquirida para buscarnuevas soluciones a sus necesidades y problemas.
• Si se han dispuesto los canales de participación para hombres y mujeres, niños y niñas.
• Si se han contemplado medidas.
Las técnicas de evaluación son muchas y variadas; podemos resumirlas en los siguientes tipos: cuantitativas, cualitativas y participativas.
Cuantitativas
• Encuesta• Medición directa• Censo
Cualitativas
• Observaciónestructurada.
• Entrevista en profundidad o semiestructurada
• Grupos de discusión.
• Análisisdocumental.
Participativas
• Análisis de acontecimientos críticos.
• Ranking de riqueza o bienestar.
• Matrices de clasificación o puntuación.
• Diagramas de Venn.
Las técnicas cuantitativas son aquellas que ponen elénfasis en la medición objetiva. Persiguen obtenerresultados extrapolables a un grupo específico de lapoblación, bien mediante la selección de una muestradel mismo, un número estadísticamente significativo dedicha población, o bien mediante el estudio de todo elgrupo.
El censo es un elemento crucial en un proyecto, nos permite conocer, en una fechadada, el efectivo de la población en un territorio con algunas de sus características:distribución por edad, sexo, estado civil, situación familiar, etc.
La medición directa u observación cuantitativa consiste en recopilar datos deacuerdo a un esquema determinado, es muy utilizada es contextos de proyectos dedesarrollo. Va directamente relacionada con el establecimiento y con la comprobaciónde los indicadores objetivamente verificables que se recogen en la matriz deplanificación del proyecto.
La encuesta. Es una de las técnicas más utilizadas ,realizada sobre una muestra desujetos representativa de un colectivo más amplio utilizando procedimientosestandarizados de interrogación. Para realizar una encuesta se utilizan básicamentedos técnicas: la entrevista y el cuestionario.
Las técnicas cualitativas son las que permiten obtenerinformación significativa e inmediata sobre las percepciones yprioridades de las partes interesadas y las condiciones yprocesos que pueden haber afectado el desarrollo de unprograma o proyecto.
El análisis documental consiste en la búsqueda de información a través de la revisión dediversos documentos.
Los grupos de discusión son como una conversación cuidadosamente planeada, diseñadapara obtener información de un área definida de interés, en un ambiente permisivo, nodirectivo. Se lleva a cabo con aproximadamente siete a diez personas, guiadas por unapersona que modera.
La entrevista en profundidad o semi-estructurada es una entrevista abierta y enprofundidad, donde quien evalúa conversa libre y espontáneamente con la personaentrevistada, y sólo interviene realizando precisiones, ordenando mínimamente el diálogo.
La observación estructurada u observación directa de un entorno permite el registrode acontecimientos e impresiones por el/la analista de acuerdo con patrones explícitos decomportamientos y acciones sociales previamente especificados. Algunos instrumentos son:cuadros de trabajo, diarios, mapas y dispositivos técnicos.
Las técnicas participativas son aquellas que seorientan a favorecer la participación interactiva. Secaracterizan por requerir la interacción activa ycontinua entre el equipo evaluador y los agentescríticos a lo largo del todo el proceso del proyecto/programa que se está evaluando.
Hay varias técnicas participativas: análisis de acontecimientos críticos, rankingde bienestar, matrices de clasificación o puntuación, diagramas de Venn,diagramas de flujos, etc.
El contexto más habitual en torno al cual se desarrollan gran parte de lastécnicas participativas se denomina “taller” y suele desarrollarse en un espaciocerrado, amplio, que permita el movimiento y el trabajo colectivo, así como eldesarrollo de actividades de dinamización grupal.
El informe de evaluación es el documento que recoge el producto final de la evaluación.
Debe contener al menos
Portada: con el titulo del proyecto, tipo de evaluación, fecha y equipo evaluador
Resumen donde se detallaran los elementos esenciales del informe.
Introducción con una breve descripción del proyecto, objetivos de la evaluación, enfoque metodológico y ámbito de aplicación, limitaciones y obstáculos detectados, principales técnicas utilizadas para la recogida y
procesamiento de la información y estructura del Informe.
Descripción de la información de forma agrupada y sistematizada.
Valoración de la información.
Conclusiones y recomendaciones.
Anexos.
El informe de evaluación es el documento que recoge el producto final de la evaluación. Debe contener al menos los siguientes apartados:
Portada
Título y código del proyecto.
Tipo de evaluación: externa, interna, mixta, participativa;
simultánea, final, de impacto; etc.
Situación del Informe: borrador, preliminar, final.
Fecha.
Equipo evaluador.
Resumen Se detallarán, en un espacio reducido, las características y elementos
centrales del informe.
Introducción
Breve descripción del proyecto.
Objetivos de la evaluación.
Enfoque metodológico.
Ámbito de aplicación.
Limitaciones y obstáculos detectados.
Principales técnicas utilizadas para la recogida y procesamiento de la
información
Estructura del Informe.
Descripción
de la
información
Se trata de presentar, de forma agrupada y sistematizada, la información
recogida. En esta fase el equipo evaluador se limita a describir y ordenar
los datos más sobresalientes por componentes, resultados o estrategias.
Valoración
de la
información
Se trata de incorporar las explicaciones necesarias en cuanto a la
información descrita, estableciendo las relaciones de causas y efectos
que procedan. Estas explicaciones deben ser presentadas,
deseablemente, atendiendo a los criterios y componentes clásicos de la
evaluación: eficiencia, eficacia, impacto, pertinencia, viabilidad.
Conclusiones y
recomendaciones
Se trata, por un lado, de plantear las principales conclusiones del
proceso de evaluación. Por otro, de establecer recomendaciones y
sugerencias para mejorar la calidad de la ejecución del proyecto en sus
siguientes fases, absorber determinados obstáculos detectados o
extraer aprendizajes para intervenciones futuras.
Anexos Se adjuntará toda aquella documentación de interés que ilustre el
desarrollo del proceso de evaluación (encuestas, cuestionarios,
referencias documentales, etc).