REPÚBLICA BOLIVARIANA DE VENEZUELAUNIVERSIDAD PEDAGÓGICA EXPERIMENTAL LIBERTADOR

VICERRECTORADO DE INVESTIGACIÓN Y POSTGRADOSUBPROGRAMA EDUCACIÓN PARA LA GESTIÓN COMUNITARIA

EVALUACIÓN DE PROYECTOS SOCIALES COMUNITARIOS

Participantes:Prof. Tulio AnzolaProf. Nelly ChiquitoProf. Maylett Castillo Prof. Elizabeth Guerrero

Facilitadora:Dra. Mélida Bermúdez

Maracaibo, junio 2012

Se podría decir que la evaluación es un proceso que facilita la identificación, la recolección y la interpretación de informaciones útiles a los encargados de tomar decisiones y a los responsables de la ejecución y gestión de los programas (Abdala, 2002).

Por lo tanto la evaluación es el proceso que se lleva a cabo mediante observación directa, seguimiento, monitoreo y registro de las acciones, y gestión, antes y durante la ejecución del proyecto así como de su resultado.

COHERENCIA, donde se analiza en función del grado de integración lógica de los distintos componentes del proyecto (Objetivos, actividades, recursos, indicadores, factores externos y otros )

PERTINENCIA, donde se analiza la capacidad del proyecto para dar respuesta a las necesidades o problemas reales de los grupos y sujetos involucrados. En esta instancia debemos considerar también los recursos disponibles para lograr los objetivos.

RELEVANCIA, donde analizamos el grado de significado de las acciones y resultados para los sujetos involucrados en el proyecto. Se entiende así que un proyecto es relevante cuando resulta ser significativo para las personas hacia quienes están dirigidas las acciones de cambio.

Costo- beneficio

Basado en un principio económico que en términos generales, sostiene que un proyecto es exitoso si el beneficio que genera la inversión en un período determinado, es mayor que la que se puede obtener con otra alternativa durante el mismo período. Por otra parte considera que un proyecto es más efectivo cuando logra sus productos con un menor costo y los beneficios sociales obtenidos son mayores que la inversión realizada.

Eficiencia

La evaluación de la eficiencia de los proyectos tiene como objeto el análisis de los recursos o insumos utilizados para realizar las actividades y obtener los resultados o productos esperados. Un proyecto es eficiente si ha tenido un adecuado gasto y no ha producido déficit en su operación. Es decir, si ha optimizado el uso de los recursos materiales y humanos de los que dispone.

En función del momento de realización y los objetivos que persigue

Evaluación Ex - AnteSe realiza previo al comienzo del proyecto, tomando en cuenta factores anticipados en el proceso decisorio. Tiene por finalidad proporcionar criterios racionales para una decisión crucial cualitativa: si el proyecto debe o no implementarse.

Evaluación Ex - Post Se lleva a cabo cuando el proyecto ya está en ejecución o ha concluido y las decisiones se adoptan a base de los resultados efectivamente alcanzados. En este ultimo caso busca ver el uso futuro de la experiencia realizada.

DIAGRAMA PROCESO DE EVALUACION EX-ANTE

ADMISIBILIDADADMISIBILIDAD

ADMISIBLEADMISIBLE

NO ADMISIBLENO ADMISIBLE

EVALUACION TÉCNICA

(Coherencia, pertinencia, relevancia )

EVALUACION TÉCNICA

(Coherencia, pertinencia, relevancia )

Técnicamente elegibleTécnicamente elegible

Técnicamente no elegibleTécnicamente no elegible

Evaluación en función de quien la realiza

Evaluación Externa La realizan personas ajenas a la organización, generalmente son evaluadores con mayor experiencia en actividades de esta especie. Se considera una evaluación más objetiva por ser realizada por alguien que no pertenece a la organización.

Evaluación InternaEl evaluador es una persona parte del proyecto. Tiene un aspecto positivo porque debería existir colaboración del equipo, pero puede ser poco objetiva debido a que el evaluador no seria imparcial.

Evaluación MixtaSe combina la evaluación externa y la evaluación interna. Esto permite que evaluadores externos realicen su trabajo en estrecho contacto y con la participación de los miembros del proyecto a evaluar.

Evaluación ParticipativaEn esta evaluación también son consultados los beneficiarios(población objetivo). El objetivo es minimizar la distancia que existe entre el evaluador y los beneficiarios. Se utiliza particularmente para pequeños proyectos.

Criterios de rigor en evaluación de proyectos

Se debe reducir la subjetividad individual, mediante el apoyo en la intersubjetividad

(diversos sujetos con diferentes puntos de vista).

Podemos utilizar la “triangulación”, entre:

Abordajes cuantitativos y cualitativos

Técnicas

Actores

Modelo experimental clásico.

Exige seleccionar aleatoriamente una muestra que se divide, también aleatoriamente, en dos submuestras, el grupo con proyecto o población beneficiaria (grupo experimental) y el grupo sin proyecto (grupo de control). Estas submuestras se seleccionan antes de iniciarse la operación del proyecto (en la situación de línea de base) y deben diferir sólo en que la primera recibe los bienes o servicios del proyecto y la segunda no.

Tomando en cuenta la selección aleatoria de ambos grupos, las diferencias iniciales entre ellos, si las hay, debieran ser mínimas. Es decir, entre X e Y no deben existir diferencias estadísticamente significativas.

La lógica de este modelo es idéntica a la del experimental clásico. Se efectúan mediciones en las líneas de base (LB) y de comparación (LC) y luego se comparan las diferencias. La distinción radica en que la pertenencia al grupo con o sin proyecto no se determina aleatoriamente. La selección se realiza en función de las variables de mayor relevancia en relación al objetivo de impacto perseguido.

Este modelo es útil cuando se desea evaluar un proyecto durante su operación y ya se han elegido los "beneficiarios" y los "no beneficiarios". Si se quiere evaluar un programa de alimentación escolar que está en funcionamiento, se pueden comparar los niños que asisten a los comedores escolares con los que, teniendo las mismas características de déficit nutricional y nivel socio-económico, no asisten, sea por automarginación, sea porque en su escuela no opera el programa.

Este diseño no permite eliminar el efecto del contexto y, por tanto, tampoco es posible determinar en qué medida los cambios registrados son imputables al proyecto.Es posible aumentar la confiabilidad de la estimación a través de la incorporación de variables de control. Es decir, hacer que los dos grupos sean los más parecidos posible en todas las variables externas al proyecto que pudieran incidir en el impactoSeries temporales Si se cuenta con información sobre indicadores de cambio en un conjunto de períodos previos y posteriores al proyecto, es posible hacer un análisis de series temporales, para extraer conclusiones sobre los efectos imputables al mismo.Para ello, se construyen curvas sobre la base de mediciones periódicas efectuadas "antes", "durante" y "después" de la realización del proyecto. Según las formas que éstas adopten se trata de determinar la magnitud del impacto que el proyecto produjo.La siguiente gráfica ilustra un ejemplo de las series temporales.

Caso 1. La función de la variable objetivo (x) es monótonamente creciente y el proyecto no la ha modificado en absoluto.

Caso 2. La curva (+) indica que hubo cambios durante el proyecto, pero lo mismo ocurre antes y después de éste, lo que implica que el proyecto no puede ser considerado como la causa de los mismos.

Caso 3. Es el único (o) donde los cambios son, en principio, atribuibles al proyecto.

En términos estrictos, con este modelo no es posible aislar los efectos imputables al proyecto. Es el clásico problema de establecer la causalidad sin disponer de instrumentos que controlen los diferentes tipos de variables que la afectan. En el caso 3, sin embargo, cabe asumir que el proyecto es la causa del impacto porque ni antes ni después del proyecto se produjeron cambios, pero no se prueba que el impacto no haya sido producido por una o más variables exógenas.

En ocasiones, es posible definir un grupo de control, que permite la comparación de los resultados del proyecto ("después"), sin que sea posible contar con información sobre la línea de base.

Este modelo no controla la posibilidad de que hubiesen diferencias significativas entre los grupos en la línea de base. Este efecto se puede disminuir incorporando variables de control para generar dos grupos que sólo se diferencien en su pertenencia o no al proyecto.

Cuando se evalúa un programa (que incluye un conjunto de proyectos con iguales objetivos de impacto), el análisis incluye:

1 La comparación de sus impactos reales (de cada uno), utilizando su posición en una distribución de frecuencias (como se indica en el capítulo de monitoreo) y

2 El estudio de la asociación observada entre distintas variables independientes y el impacto (como dependiente). Esto permitiría conocer el grado en que cada una influye en el impacto alcanzado.

Como variables independientes se pueden incluir: costo (unitario y por tipo de recurso), focalización, cobertura, tipo y calidad de los productos, ejecutor o tipo de población objetivo, por ejemplo.

Diagrama de flujo del proceso de monitoreo

Evaluación Ex-antes

Asignación de Proyecto

y supervisión

Cierre del Proyecto

EvaluaciónImpacto

Desembolsos

Operación(informe)

Ejecución(informe)

Formalización

Visitas en

terreno Proyecto

terminado?

Aprobación informe

Informeme de cierre

Informes de visitas

en terreno

si

no

no

si

En términos metodológicos se caracteriza por estudiar aquellos fenómenos observables y susceptibles de medición. El rigor y credibilidad científica se basan en la validez interna. Los procedimientos más utilizados son el control experimental, la observación sistemática del comportamiento y la correlación de las variables.

En general se atribuye este enfoque a los estudios realizados en las ciencias físico –naturales, puesto que, por diferentes que sean sus objetos de estudio, generalmente utilizan procedimientos de naturaleza cuantitativa, aptos para ser formalizados matemáticamente. En ciencias sociales, la particularidad del objeto de estudio es la que impone la consideración cuantitativa y la impide en otros. Desde esta perspectiva,resulta necesario desarrollar la objetividad para alcanzar resultados válidos, sistemáticos y confiables.

Ha sido el modelo que muestra mayor utilización. Por lo general se emplea cuando los beneficios de un proyecto son fácilmente identificables. Se basa en la cuantificación delos costos y beneficios monetarios actualizados a precios de mercado de un proyecto específico, esto como resultado de la integración de los beneficios en una sola unidad de medida que en este caso es monetaria. En este sentido, este análisis compara los beneficios y los costos de un proyecto particular, es por ello que se ha utilizado con gran éxito en los proyectos económicos.

El modelo costo – efectividad, es una variación del modelo anterior que intenta superar las dificultades constatadas en el modelo costo – beneficio, sin embargo, ambos análisis buscan maximizar el logro de los objetivos de un proyecto. La diferencia más notoria respecto del modelo anterior es que vincula una variable nueva cual es, el impacto. Así, la efectividad se relacionada con aquella en la medida que importa mucho más detectar si el proyecto tiene efectos o no sobre la población objetivo y selecciona la alternativa más adecuada.

En este modelo se espera que los beneficios logrados con un proyecto sean económicamente menos costosos, por tanto su finalidad es comparar las alternativas, según sus costos unitarios o totales, y luego seleccionar la solución de menor costo, esto es lo que se denomina Criterio de Mínimo Costo.

Se basan en paradigmas interpretativos o comprensivos, cuyo propósito es “establecer el significado de las acciones y actividades que se desarrollan dentro del proyecto; su enfoque es global, holístico, sin referencia a factores causales ni a variables particulares. Estos últimos utilizan preferentemente información cualitativa.

Sin duda, la aplicación de estos modelos al momento de evaluar no es lineal, puesto que en la dinamicidad de la realidad social, no siempre será posible ceñir lo que teóricamente se propone en su formulación. Por ello, algunos modelos de evaluación incorporan elementos de ambos modelos, básicamente dependiendo de los objetivos que persiguen. Dentro de estos modelos es posible distinguir los siguientes.

(Contexto, Insumo, Proceso, Producto)

En este modelo se define la evaluación como “un proceso destinado a delinear, obtener y proporcionar informaciones útiles para el juzgamiento o ponderación de decisiones alternativas”10, es decir, es un proceso generador de información útil para la toma de decisiones, desde el planeamiento de la idea (proyecto), pasando por la estructuración relativa a la puesta en marcha y también decisiones de reciclaje. A su vez, este modelo está formado por el conjunto de cuatro tipos de evaluación: evaluación contextual, de insumos, de procesos y del producto.

Este modelo fue desarrollado por Michael Quinn Patton11 plantea la superación de la oposición existente entre un paradigma que privilegia los diseños experimentales con mediciones cuantitativas y otro que privilegia un diseño holístico y el uso de datos cualitativos, señalando que el debate entre paradigmas debiera ser reemplazado por un paradigma de elecciones, que permita reconocer el uso del método más adecuado para la situación específica. En este modelo, la evaluación se inicia con la identificación y organización de las personas que toman las decisiones importantes de un proyecto, como también de las personas que utilizarán la información obtenida por la evaluación. La focalización está referida a la definición de preguntas relevantes y la decisión sobre los métodos de recolección y análisis de datos.

Modelo que fue propuesto por Elliot W. Eisner, quién afirma que “sólo un experto que ha pasado toda una vida en el campo puede proporcionar evaluaciones mediante el uso sistemático de la sensibilidad perceptiva, la organización de la experiencia previa y la refinación de ideas perspicaces o intuiciones que serían imposibles de obtener de otra forma”.

Utiliza una metodología que combina la experiencia con la crítica; la experiencia constituye el medio a través del cual “las cuestiones de confiabilidad y validez pueden manejarse por la corroboración estructural (validación mutua de una parte de los datos por el resto, siendo sustentada la totalidad por las partes que la constituyen); y por la adecuación referencial (la existencia de una relación entre lo que dice el crítico educativo y el objeto de su crítica)”

El modelo de la evaluación iluminativa, fue desarrollado por M. R. Parlett y D. E. Hamilton en 1976, planteándose como un enfoque alternativo al paradigma cuantitativo, privilegiando los métodos naturalistas centrados en la descripción y la interpretación.

Representa un enfoque cultural, etnográfico y holístico, centrado fundamentalmente en realizar una interpretación “mediante los significados que tales procesos (conductas personales, interacciones, etc.) tienen para los autores que participan en un proyecto”.

Luego de definir el problema y objetivo, es necesario conocer los productos. Se entiende por estos los bienes y servicios finales que son entregados a los beneficiarios (un hospital, plan de alimentación, etc.). La tecnología desde la cual se va a producir va a definir los insumos necesarios para esta producción (humanos, materiales y tecnológicos) y la organización racional de los insumos para alcanzar sus fines son los procesos. Finalmente, dentro del mismo proceso de producción aparecen efectos, que son las reacciones de la población ante la aparición del producto, permiten medir el grado de producción y conocer el impacto, todo de forma parcial.

Para lograr que los productos tengan el impacto esperado, estos deben ser sustentables (existencia de insumos bien instalados para la producción) y sostenibles (que los impactos perduren en el tiempo).

El impacto es entendido en el texto como la magnitud del cambio en el problema detectado gracias a la implementación del proyecto. Este se mide comparando la situación inicial (LB [línea de base]) con la situación actual (LC [línea de comparación) y no siempre resulta ser una relación lineal (más inversión no significa mejores condiciones).

Hay que recordar que los proyectos sociales intentan intervenir en la situación de equidad, entendiendo esta como la entrega de beneficios a una población que no podía acceder a estos por su propia cuenta como producto de una situación de desigualdad.

La población a la que va orientado el proyecto es la población objetivo. Por esta se entiende el subconjunto de la población que será beneficiada. Los datos mínimo que hay que saber de ésta son el rango de edad de las personas, su estrato socioeconómico y su localidad geográfica.