formul. y evaluación de proyectos sociales. apuntes de clase-f. salamanca(65)

FORMULACION Y EVALUACION DE PROYECTOS SOCIALESAPUNTES DE CLASE FERNANDO SALAMANCA O. JOSE REINALDO SAEZ M.

Santiago de Chile, Marzo 2004

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

1

INDICE

Pgina RESUMEN PRESENTACIN I. MARCO GENERAL I.1. I.2. II.1. II.3. II.4. II.5. II.6. Programas y proyectos El ciclo de proyectos Informacin en base a estadsticas sociales Diagnostico y rbol de Problemas Cobertura de beneficiarios Seleccin de beneficiarios Localizacin 3 4 6 6 8 11 11 16 18 19 20 21 21 24 25 26 28 28 28 29 30 31 31 33 35 35 35 38

II. ANTECEDENTES Y SITUACIN PROBLEMA

III. MARCO INTERPRETATIVO Y PROPUESTA III.1. Marco analtico y alternativas de solucin III.2. Anlisis de prefactibilidad de alternativas de solucin III.3. Objetivos y metas III.4. El uso del marco lgico IV. PRESUPUESTO, ADMINISTRACION Y GESTION IV.1. Productos, requerimientos y presupuesto IV.1.1. Cuantificacin de los productos IV.1.2. Cuantificacin de los requerimientos IV.1.3. Tipos de presupuesto IV.1.4. Flujo de caja IV.2 Etapas y actividades IV.3. Modelo de gestin V. SUPERVISIN DE PROYECTOS V.1. Control financiero V.2. Control tcnico VI. EVALUACION EN PROYECTOS SOCIALES

VI.1. Los grandes modelos de evaluacin 38 VI.2. Caractersticas de los diseos evaluativos.38 VI.3. Los datos e instrumentos para la evaluacin de un proyecto 39 VI.4. Evaluacin en los sectores sociales 42 VI.5. Evaluacin ex ante.. 45 VI.6. Evaluacin de procesos o monitoreo ..... 45


1

VI.7 Necesidades y exigencias de la supervisin y monitoreo de proyectos. 47 VI.8. Evaluacin del impacto o ex post. 48 VI.9. Evaluacin de eficiencia 49 VI.9.1. El modelo costo-beneficio ...49 VI.9.2. El modelo costo-efectividad 52 VI.10. Evaluacin de eficacia ...54 VI.10.1. El diseo experimental 54 VI.10.2. El diseo cuasi experimental .. ......55 VI.10.3. Modelos de regresin.57 VI.11. Diseos semiformalizados 57 VI.11.1. Serie temporal ..57 VI.11.2. Diseo no experimental antes-despus .58 VI.11.3. Diseo despus con grupo de comparacin . 59 VI.11.4. Diseo despus..59 VI.12. Diseos cualitativos...61 El uso de expertos en la evaluacin de acreditacin 62 BIBLIOGRAFA 64


2

RESUMEN

La formulacin y evaluacin de programas y proyecto se contextualiza inicialmenteen el marco de las polticas pblicas y en particular de las relacionadas con problemas o necesidades sociales. Se describe el proceso de formulacin y evaluacin de proyectos dentro del ciclo de inversin pblica dentro del cual se establecen pautas o formatos bsicos a los proyectos sociales. Dentro de la formulacin del proyecto se describen los antecedentes cualitativos y cuantitativos que diagnostican la situacin problema y determinan la cobertura, tipo de acceso y localizacin del proyecto. Una vez diagnosticada la carencia, se propone una estrategia de intervencin fundamentada en un marco interpretativo y en el anlisis de otras alternativas de accin. La alternativa propuesta se operacionaliza en objetivos, metas y en un marco lgico de programacin. En tanto el proyecto demanda recursos fsicos, humanos y financieros, se aade a la formulacin del mismo la elaboracin del presupuesto, el cronograma y el modelo de gestin. Particular atencin se presta a modelos de gestin participativos. Secuencialmente a la formulacin de programas o proyectos se presentan la evaluacin de los mismos en dos modalidades: evaluacin de costo-impacto y evaluacin de resultados. En la primera modalidad se describen las tcnicas costobeneficio y costo-efectividad y en la segunda las variantes del diseo experimental y la evaluacin cualitativa. Por ltimo, se caracteriza el desempeo de los modelos evaluativos en los sectores sociales, con referencia a sus particularidades para una adecuada evaluacin.


3

PRESENTACIN

Tanto

las polticas pblicas como las iniciativas de la sociedad civil tienen como herramientas operacionales a programas o proyectos. Los problemas o necesidades sociales se traducen en estas herramientas operativas, especialmente agrupadas por sectores sociales. La formacin de profesionales en programacin y evaluacin social implica la capacidad de formular y evaluar proyectos, en el marco de la necesidad de optimizar, mediante programas y proyectos, los recursos pblicos en una ptica de eficacia, eficiencia, equidad y participacin social. Estos apuntes se enmarcan en la necesidad ms general de formacin de recursos humanos en polticas, programas y proyectos en la amplia gama de necesidades sociales. Su utilidad reside en constituir un apoyo a la docencia, as como un instrumento permanente de asistencia para los profesionales que trabajan en proyectos tan variados como promocin de la salud, educacin, desarrollo comunitario, comunicacin, capacitacin y empleo y construccin y mantencin de infraestructura social. Su utilidad es extensiva a programas y proyectos en el mbito comunal y regional en el sector pblico, as como organismos gubernamentales relacionados con la agenda social. El documento se inicia con los componentes del diagnstico de la situacin problema y las metodologas en uso para la deteccin de necesidades. Posteriormente se extiende en las caractersticas de la estrategia de intervencin, su operacionalizacin y marco lgico. Detalla adems los elementos constitutivos del presupuesto y cronograma de trabajo. Se releva la gestin participativa en los proyectos, recogiendo el acento puesto por diversos organismos multilaterales en incorporar a beneficiarios/as, y en general a actores de la sociedad civil, en la formulacin, gestin y evaluacin de proyectos de desarrollo. Dentro de la evaluacin se distingue entre evaluacin de eficiencia y de impacto. En la primera opcin se destacan las tcnicas costo-beneficio y costo-efectividad y en la segunda, las variantes del diseo experimental y las estrategias cualitativas. Por ltimo, los apuntes precisan la aplicabilidad de los diseos evaluativos en los sectores sociales ms usualmente asociados a respuestas estatales a necesidades bsicas de la poblacin.


4

INTRODUCCIN

Estos apuntes han sido diseados como material de apoyo a las clases lectivas y talleres decursos de Formulacin como de Evaluacin de proyectos sociales, dictados en diversos centros acadmicos y organismos pblicos. En ellos se enfatizan en los conceptos asociados a las herramientas operativas en planificacin, y se remarca la nocin de proyecto asociado tanto a la formulacin e implementacin de proyectos como de los programas, calificando la diferencia entre ambos niveles cuando sea pertinente. Los apuntes se ordenan en un Captulo introductorio sobre marco general y los Captulos subsiguientes en secciones correlativas segn el ciclo del proyecto (Captulo II): antecedentes y situacin problema en el Captulo III, la estrategia de intervencin en el Captulo IV; presupuesto, administracin y gestin de proyectos en el Captulo V; el Captulo VI se refiere a supervisin de proyectos y el Captulo VI a evaluacin de proyectos sociales. Se sintetizan los conceptos usuales en el diseo, implementacin y evaluacin de proyectos sociales y se agregan referencias a proyectos productivos de carcter local y con externalidades sociales. Se hace referencia, como evidencia emprica, tanto a investigaciones aplicadas como a proyectos evaluados o en desarrollo. Los apuntes recogen valiosas observaciones y crticas formuladas por alumnos de diversos cursos, pero las opiniones emitidas sobre las intervenciones sociales analizadas slo comprometen a los autores.


5

I. MARCO GENERAL I.1. Programas y proyectos

Las

herramientas operativas de la planificacin son los programas y proyectos. Los programas tienen su origen ya sea en una respuesta institucional del Estado a movimientos sociales o en la deteccin de necesidades bsicas, como tambin en la modernizacin de las polticas sociales. Estn dotados de una base institucional slida y de larga data, y su expresin formal es usualmente un Ministerio o una agencia gubernamental especializada. Poseen adems personal profesional y administrativo que forma parte regular del aparato pblico. Sus recursos provienen del presupuesto ordinario de la nacin.

Diagrama 1.POLTICA SOCIAL

PROGRAMA 1

PROGRAMA 2

PROYECTO 1.1

PROYECTO 1.2

PROYECTO 2.1

PROYECTO 2.2

Los beneficiarios de los programas son grandes agregados de poblacin, generalmente categorizados por grupos de edad o por necesidades bsicas especficas. Los programas tienen cobertura de carcter nacional y su intervencin es llevada a cabo mediante bienes o servicios estandarizados. En ello generalmente no se contempla la participacin directa de los beneficiarios. Son precisamente estas caractersticas las que colocan a los programas bajo el juicio crtico acerca de su capacidad para garantizar niveles adecuados de equidad, de redistribucin o participacin social. Dentro del nuevo marco de la planificacin, ambas herramientas (programas o proyectos) deben enmarcarse en ciertos ejes recurrentes de planificacin que pretender dar respuestas a ciertos problemas o tpicos, que se sintetizan en el siguiente cuadro:


6

Cuadro 1 EJES PARA EL DISEO Y EVALUACIN DE POLTICAS PROGRAMAS Y PROYECTOS EJESIntegralidad Equidad Cobertura Participacin

PROBLEMAS O TPICOSCapacidad intersectorial. Niveles de integralidad (nacional, regional, local) Focalizacin. Territorializacin. Sectores vulnerables Magnitud de dficit. Priorizacin. Seleccin de usuarios Implementacin y sus obstculos. Escala. Replicabilidad. Inferencia. Insercin en la institucionalidad estatal Dificultad de cuantificacin. Estimacin de niveles mnimos. Accesibilidad a subsidios Directo. Tributacin o indirecto Tarifas. Autofinanciamiento Costos administrativos. Uso de Infraestructura y equipamiento. Retencin de beneficiarios o clientes Medicin en base a insumos o resultados. Externalidades. Sustentabilidad. Metodologas efectivamente aplicables

Transferencia monetaria Financiamiento

Eficiencia Eficacia

TEMAS EMERGENTESMedio ambiente Genero Identidad cultural

PROBLEMAS O TPICOSEvaluacin multidisciplinaria. Auditora y monitoreo. Impacto Incorporacin a polticas. Sectorizacin Escala de la poltica. Estructuras jurdico-institucionales. Subsidios

Como complemento a los programas y en algunos casos como alternativa en la ltima dcada se ha enfatizado en el papel de los proyectos sociales como herramienta complementaria y eventualmente substitutiva de los programas. Los proyectos sociales tienen el propsito de enfrentar carencias sociales mediante acciones especficas complementarias al Estado, dentro de una concepcin solidaria innovativa y promocional de 7


resolucin de problemas sociales, invirtiendo en la generacin de capacidades de la poblacin para mejorar sus condiciones de vida. Sera incongruente reemplazar los programas por proyectos como instrumento de planeacin, en cuanto son herramientas con diferentes propsitos y niveles. Sin embargo, para los fines de diseo y evaluacin de intervenciones sociales, es importante destacar las diferencias metodolgicas presentes en ambas herramientas. Entonces, los programas estn ms asociados al anlisis general de polticas pblicas, en cambio los proyectos a fondos de inversin, que cuentan con tcnicas de evaluacin ex ante para sus intervenciones. I.2. Diagrama 2.CICLO DE VIDA DE LOS PROYECTOS Evaluacin de impacto Diseo

El ciclo de proyectos

NECESIDADES Resultados APRENDIZAJES

Evaluacin Ex ante

Ejecucin

Evaluacin de procesos Seguimiento

En Amrica Latina los proyectos se enmarcan, en forma creciente, en un ciclo decisional que establece criterios formales para la asignacin de recursos hacia los sectores sociales. Este ciclo se inicia usualmente en los niveles ms desagregados del aparato pblico, o sea, en el gobierno local o en el regional. Eventualmente, las organizaciones comunitarias pueden ser generadoras de ideas o perfiles de proyectos, con el respaldo de los gobiernos locales. De esta manera, el proyecto social inicia un proceso progresivo de jerarquizacin y compatibilizacin con lneas programticas preexistentes, salvo cuando cumple la funcin de innovar dentro de programas sectoriales tradicionales. Independientemente de los rasgos especficos de cada sector social (salud, vivienda, educacin, etc.), los proyectos responden a un formato comn de diseo en su formulacin, en que destacan como elementos centrales la deteccin del problema y la magnitud de la


8

demanda, la solucin propuesta y los objetivos, sus posibles impactos, requerimientos, presupuesto, etapas y actividades, el modelo de gestin y el marco institucional. El proceso final de este ciclo termina con la aprobacin tcnico-financiera de un ente regional, sectorial o nacional de planeacin y finalmente con la sancin positiva de las oficinas de presupuesto y su adecuacin a las normas de contralora o auditora vigentes en el Estado. Por otro lado, algunos proyectos deben atenerse a los criterios de aprobacin y supervisin de la cooperacin internacional u organismos multilaterales (Banco Mundial, BID). Este ciclo de proyectos presenta el gran mrito de ordenar el flujo de ideas, perfiles y diseos de proyectos y de inhibir el uso caprichoso o discrecional de los recursos pblicos. Introduce un margen de objetividad en la jerarquizacin de las necesidades sociales y evita dejar la ejecucin de los proyectos al libre juego de los actores sociales demandantes de necesidades bsicas. Como contrapartida, implica la necesidad de una gestin idnea de proyectos por organizaciones muy heterogneas en cuanto a su capacidad programadora. Ese es el caso de las organizaciones de base, gobiernos locales e incluso de una cantidad apreciable de gobiernos regionales y agencias sectoriales. En la prctica, aquellos gobiernos locales o regionales con mejor acceso a la informacin, con buenos equipos tcnicos, grupos y movimientos sociales organizados, son los ms beneficiados, por su mejor capacidad para generar y ejecutar proyectos sociales. Para corregir esta anomala, los gobiernos estipulan una serie de salvaguardias para la asignacin social y espacial equitativa de los recursos pblicos, como cuotas regionales, niveles de pobreza prioritarios para proyectos focalizados, lneas de accin para grupos objetivos de riesgo y otras formas de determinar anticipadamente los proyectos ms redistributivos y de alto impacto social. Crecientemente, en los proyectos financiados con la cooperacin internacional se estipula una sujecin al marco del contexto nacional, la explicitacin de factores socio-econmicos y la incorporacin de los intereses de la mujer. Como resultante de una tendencia creciente en Amrica Latina hacia la desconcentracin y descentralizacin de los fondos sociales se han producido interesantes modificaciones en la modalidad de asignacin de proyectos sociales, lo que afecta positivamente el tipo de formato o diseo de proyectos (ILPES, 1993a). Una expresin de esta tendencia son los fondos de inversin focalizados (Wurgaft, 1993) y el incremento de los recursos financieros a los gobiernos locales, lo que facilita la insercin comunitaria en la generacin de proyectos. El ciclo de gestin de proyectos pblicos se simplifica y la capacitacin se extiende a funcionarios medios o a dirigentes sociales. Se introduce un criterio de competitividad intralocal y regional que mejora la originalidad de los proyectos, aunque debe reconocerse que este proceso est en sus inicios y para un juicio definitivo es temprano an.


9

La evaluacin preliminar de los proyectos locales plantea desafos, como la necesidad de asegurar un alto impacto en proyectos con alta demanda por beneficiarios y adems con presupuestos reducidos. Se agrega a ello, la corta duracin de la intervencin y el requerimiento de sustentabilidad a mediano plazo. En general, el ciclo de proyectos sociales gubernamentales deja como leccin la necesidad de socializar y capacitar a las organizaciones sociales en las caractersticas tcnicas de formulacin de proyectos. Las carencias formativas se evidencian principalmente en la sociedad civil y en las comunas o distritos pobres de un pas lo que, por el carcter competitivo de los fondos de inversin, produce un crculo vicioso de menor dotacin de recursos para esas zonas.


10

II. ANTECEDENTES Y SITUACIN PROBLEMA

El primer paso en la formulacin de proyectos es la recoleccin de antecedentes queidentifiquen una situacin problema. Una situacin problema en los sectores sociales proviene de desequilibrios, demandas o insatisfaccin de necesidades bsicas. La definicin del problema a su vez puede provenir de variadas fuentes, desde movimientos de masas, demanda de clientes potenciales hasta estndares mnimos de bienes o servicios sociales definidos tcnicamente o por organismos internacionales. Para identificar, describir y dimensionar la situacin problema es necesario registrar distintos tipos de informacin, que se resean en las siguientes secciones. II.1. Informacin en base a estadsticas sociales

En la determinacin del diagnstico se trata de establecer la magnitud de la carencia que el proyecto social pretende modificar y se recurre a un conjunto de indicadores sociales, a los que se confiere validez y confiabilidad para determinar brechas o dficit en cobertura en niveles de atencin u otra forma de carencias. Se ha discutido extensamente sobre las formas ms adecuadas de registrar las necesidades bsicas, aceptando que las estadsticas sociales son un reflejo parcial de la magnitud y complejidad de las carencias sociales. Sin embargo, la experiencia indica que es ms certero el uso creativo de las estadsticas y datos disponibles que la espera de metodologas de diagnstico excesivamente costosas o complejas. Para definir la magnitud del problema es necesaria una previa estimacin de la poblacin carenciada y conocer las caractersticas del grupo al cual se orientara el programa y de su distribucin espacial. En los programas y proyectos sociales, es particularmente til la distincin por grupos de edad, en la medida en que ello permite categorizar programas y proyectos sociales de acuerdo al ciclo vital. Eventualmente, es adecuado diferenciar los grupos de edad por sexo, para atender a la equidad de gnero en el acceso a polticas pblicas. El concepto de poblacin blanco, grupo objetivo o demanda potencial se refiere a la distincin de subgrupos al interior de la poblacin carenciada, y cabe utilizar al respecto dos distinciones: grupo en dficit y grupo en riesgo. En el primer caso (grupo en dficit) la disponibilidad de datos es ms factible, ya que es posible dimensionar "stocks" de deficitarios o carenciados por medio de datos provenientes de censos o encuestas de hogares, como sexo, edad, tipo y calidad de la vivienda, tamao de la familia (expresados en mapas de extrema pobreza, de grupos vulnerables, etc.). El grupo en riesgo presupone mayor vulnerabilidad que se deducen del conocimiento de un modelo causal y de su dinmica en el tiempo para la constitucin del riesgo. Para establecer las variables de riesgo; los datos son ms difciles de obtener y generalmente exigen la 11


elaboracin de diagnsticos ad hoc, los que son poco frecuentes por el costo y la complejidad de los instrumentos de recoleccin de la informacin requerida. El concepto de grupo en riesgo se deriva del enfoque de la intervencin temprana en salud pblica, y que adquiere creciente importancia en la programacin social (OPS, 1986). En este caso, los programas y proyectos se orientan principalmente hacia grupos vulnerables, como los menores de seis aos y las madres embarazadas. El concepto de grupo de riesgo busca incentivar programas preventivos dirigidos a poblacin vulnerable, como en problemas de conducta irregular y drogadiccin juvenil. Un uso de estadsticas sociales es la medicin de necesidades bsicas insatisfechas (NBI) con fines de focalizacin. La medicin de NBI se apoya en indicadores estadstico compuestos de nivel socioeconmico que se derivan de una reelaboracin de los datos censales y de encuestas de hogares y se basas en indicadores habitacionales. En Amrica Latina se desarrollan registros de NBI, desagregables para el nivel nacional, regional y, eventualmente en el mbito local. Algunos pases disponen de instrumentos especficos de medicin de carencias que permiten una mejor focalizacin dentro de las personas o familias pobres. La focalizacin es til para comparar la secuencia temporal de programas, cuando entre ellos hay una baja cobertura de bienes y servicios sociales a grupos en riesgo. En Chile, por ejemplo, dentro de los grupos pobres, parte significativa de las demandas del grupo de edad de 0-24 meses es atendida casi en su totalidad por el Programa Nacional de Alimentacin Complementaria (PNAC). Lo mismo sucede con las del grupo de edad 7-14 aos, que son atendidas por el programa de alimentacin escolar (PAE). Sin embargo, en el grupo entre 2 y 6 aos existe una brecha de baja cobertura en la educacin preescolar. Estas anomalas ilustran la necesidad de establecer programas secuenciales con propsitos mltiples segn el ciclo vital. Los datos secundarios permiten la delimitacin de los grupos objetivos y de los beneficiarios del proyecto y, en algunos casos particulares, deben complementarse con estudios de carencias o diagnsticos ad hoc. En estos ltimos se utilizan cuestionarios estructurados o datos secundarios de origen administrativo, en particular estadsticas vitales. Un caso particular lo representan los diagnsticos sobre la estructura productiva y del empleo sectorial. Los datos se extraen de los Censos nacionales de Poblacin y Vivienda y Encuestas continuas de ocupacin. Ms all de los datos descriptivos sobre los sectores productivos y de empleo predominantes, el desafo de las estadsticas de empleo es su calidad de predictores adecuados de la demanda de oficios para formular proyectos de capacitacin y de microempresas. De antemano se puede establecer que se trata de estadsticas demasiado estticas y agregadas sectorial y geogrficamente que no permiten su uso ptimo a nivel local y comunitario. Sin embargo, estas fuentes administrativas permiten mejorar la calidad de los diagnsticos para proyectos y programas sociales (ver Cuadro 2).


12

Cuadro 2 CARACTERSTICAS DE LAS FUENTES DE INFORMACIN SECUNDARIATIPO COBERTURA VARIABLES Poblacin Educacin Empleo Familia Vivienda Calidad Saneamiento Equipamiento comunitario Poblacin Educacin Empleo Familia Vivienda Calidad Saneamiento Equipamiento comunitario o acceso a bienes y servicios Controles Consultas, Poblacin escolarizada Nmero de viviendas Flujos telefnicos VENTAJAS Desagregacin Intracomunal Existencia como base de datos Expedicin de acceso DESVENTAJAS Perodo de tiempo Secreto estadstico Ausencia de variables psicosociales

Censos

Nacional Necenal

Encuestas de hogares Encuestas de ocupacinEncuesta de presupuestos familiares

Metropolitana

Periodicidad Flexibilidad

Restriccin por muestra Acceso limitado a la base de datos

Ciudades medias

Estadsticas sectoriales

Sectores: Salud, Educacin Vivienda, Comunicaciones.

Series temporales Factibilidad de ndices

Inexistencia como base de datos. Desagregacin social y territorial

Es importante destacar el conjunto de entidades gubernamentales que producen informacin regular, como el Servicio de Impuestos Internos, el Registro Civil, el Instituto Nacional de Estadsticas y otras. II. 2. Datos primarios Otras fuentes de informacin provienen de datos primarios para diagnosticas necesidades bsicas. Ellas son generalmente de orden cualitativo, especialmente tcnicas basadas en entrevistas semi-estructuradas a informantes claves y en entrevistas grupales. La informacin primaria es necesaria para dimensionar carencias en reas de difcil deteccin estadstica, como salud mental, adicciones, comportamiento reproductivo, conducta irregular, minoras tnicas, necesidades de capacitacin, etc. Sin embargo, estos datos no siempre cuentan con la difusin adecuada para ser aprovechados por las organizaciones comunitarias o por entes descentralizados del Estado. Sus limitantes residen en la falta de periodicidad y cobertura territorial de la informacin.El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

13

a) la entrevista semi-estructurada La entrevista semi-estructurada es una tcnica adecuada para estimar la demanda cualitativa cuando esta demanda se refiere a tpicos sociales complejos. La entrevista semi-estructurada se dirige a informantes claves y es adecuada para estimar demanda en proyecto de pequea escala y con referencia a valores, actitudes o comportamientos locales. Las entrevistas semi-estructuradas pueden tener como informantes claves a Directores de Escuelas, de Centros de Salud, dirigentes de organizaciones sociales, a los que se les solicita informacin sobre antecedentes que configuran un problema social. Posteriormente se analizan y sintetizan los distintos tipos de informacin, para establecer un patrn comn en sus categoras de deteccin de necesidades. b) entrevistas grupales Tambin las entrevistas grupales sirven para identificar, ordenar y jerarquizar necesidades bsicas de orden cualitativo. Las entrevistas grupales son tcnicas basadas en informantes claves, como las entrevistas grupales. Las entrevistas grupales1 han demostrado su utilidad como tcnica de recoleccin de informacin. Ellas entregan un gran caudal de informacin interpretativa, dimensionamiento de carencias, para proyectos de difcil cuantificacin en sus resultados. Una variante pero en base a entrevistas paralelas para constituir un grupo virtual, son las tcnicas Delphi (ILPES, 1994) en base a grupo de expertos o informantes claves. 2

2 O su variante mas predeterminada como los Focus groups


14

Cuadro 3 TECNICA DELPHI Caractersticas y pasos de la Tcnica Delphi Cuestionarios secuenciales aplicados a expertos Recoleccin de informacin progresivamente especfica til para obtener juicios subjetivos Aplicabilidad: Restricciones de costo, tiempo y recursos Imposibilidad de interaccin cara a cara Alto desacuerdo probable en los expertos Pasos de aplicacin de la Tcnica Delphi Deteccin y listado extenso de problemas Jerarquizacin de problemas Identificacin de soluciones Jerarquizacin de soluciones Las ONG han aportado una provechosa experiencia en tcnicas cualitativas de recoleccin de informacin, en base a material de fcil comprensin y con tcnicas de animacin social. Ello producto de la especializacin en la investigacin, sistematizacin y difusin de material de educacin popular. El diagnostico o recopilacin de antecedentes no puede ignorar que un proyecto responde a criterios de elegibilidad fijados de antemano, de all que una preseleccin inicial de proyectos ser la mera sujecin del proyecto a las lneas de prioridad gubernamentales o bases de concurso de los fondos de inversin. Usualmente estas bases son: focalizacin de niveles socioeconmicos, orientacin a grupos vulnerables o prioridades regionales. El diagnostico debe contemplar adems la existencia de otras organizaciones que realizan proyectos similares en el rea para lograr optimizar complementariedades, o al contrario, evitar yuxtaposiciones de poblacin objetivo.


15

II.3.

Diagnostico y rbol de Problemas

Son frecuentes los diagnsticos realizados con diferentes datos sociales y que se basan en encuestas o estudios no continuos en el tiempo y preparados con otros fines, como tambin con informacin primaria. Ambos tipos de informacin deben entenderse como complementarios y necesarios para configurar un marco analtico para ordenar y sistematizar la informacin. Cabe citar, por ejemplo, diagnsticos realizados por equipos sanitarios en reas de salud, diagnsticos en asentamientos precarios ejecutados por municipios, organizaciones no gubernamentales (ONGs) o entidades acadmicas, monografas sobre empleo, tesis de grado sobre pobreza en reas o sectores delimitados, etc. Estos diagnsticos, aunque carecen de la cobertura y periodicidad de las estadsticas sociales, entregan antecedentes valiosos guardando los mrgenes de error o inferencia- para diagnsticos en reas de difcil deteccin, como valores y conductas sexuales, relaciones intrafamiliares, expectativas migratorias, etc. El paso siguiente es formalizarlos en una expresin metodolgica secuencia y analtica cuya menor operacionalizacin es el rbol de Problemas. Esta tcnica permite que los datos que permiten la identificacin del problema pueden ser continuada con un proceso de anlisis de las causas que lo generan y los efectos que produce el mismo problema El rbol del problema es una tcnica que permite analizar y ordenar los diversos factores que inciden en la gestacin de un problema. Todo problema social tiene causas histricas o estructurales que lo generan en su origen, como tambin causas o variables ms intermedias o contingentes, que son las consecuencias de las causas histricas. A su vez, el propio problema suscita otras consecuencias o efectos en el entorno social o geogrfico.3 Para la descripcin de un problema, el rbol ordena los factores que originan el problema en una secuencia de relaciones de causas y efectos, que se presentan grficamente identificando las causas estructurales en la base o abajo (las races) del rbol hasta rematar en las consecuencias o arriba del rbol (las ramas), como se presenta en el siguiente esquema:

3 En la situacin de ampliar el rbol de causas a las consecuencias derivadas del problema se puede hablar del rbol de causas y efectosEl Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

16

Diagrama 3 RBOL DE PROBLEMAS O DE CAUSAS Y EFECTOSEfectos Efectos Efectos

VARIABLE DEPENDIENTE O PROBLEMA CENTRAL

Variables o causas intermedias



Variables o causas estructurales



En sntesis, el rbol permite establecer la secuencia de causas, partiendo abajo con las ms estructurales, pasando a otras derivadas de carcter intermedio, hasta rematar arriba en el problema e identificando la secuencia de efectos que genera el propio problema. Para la construccin del rbol se pueden utilizar fuentes de informacin cuantitativa como cualitativa y ser desarrollado por el propio proponente de la iniciativa. Sin embargo, es 17


altamente recomendable para su desarrollo utilizar la tcnica cualitativa de la entrevista focal o de grupo focal4. La tcnica del grupo ncleo o focal consiste en una entrevista colectiva en grupos pre-seleccionados, los cuales usualmente entregan informacin de calidad. En este caso vlida para el anlisis del problema. Hay que considerar que el rbol del Problema con su capacidad de identificacin de causas, ya sea expresada en variables estructurales o intermedias, no significa necesariamente una posibilidad de intervencin sobre las mismas. Una adecuada identificacin de causas no equivale mecnicamente a lograr una intervencin inmediata y exitosa por parte de programas u proyectos sociales. Para ello se debe elaborar una derivacin del rbol de Causas que es el paso precedente al rbol de Objetivos, que se describe mas adelante. II.4. Cobertura de beneficiarios

La cobertura se refiere a la capacidad del proyecto de cubrir el tipo de universo al cual est dirigida la intervencin. La mayora de los programas universales o de cobertura total se han demostrado como regresivos al invisibilizar desigualdades sociales internas de la poblacin. En los proyectos, por su mismo carcter discontinuo, una cobertura amplia es difcil de lograr, ya sea por escasez de recursos econmicos del proyecto, automarginacin, exceso de dispersin de la poblacin, o por barreras culturales o psicolgicas que dificultan el acceso del usuario. En la formulacin de un proyecto existe la disyuntiva entre optimizar su cobertura (la mayor cantidad posible de beneficiarios) o incrementar la calidad de la intervencin con un bajo nmero de beneficiarios. La opcin ms generalizada es optar por una cobertura amplia, pero en grupos focalizados de acuerdo a los criterios de extrema pobreza. Si la falta de recursos imposibilita esta opcin, cabe seleccionar a un grupo de beneficiarios pobres que presenten mayor vulnerabilidad o que tengan un buen pronstico en los resultados de la intervencin. A los beneficiarios directos se agregan comnmente beneficiarios indirectos, personas o grupos que reciben parte de los beneficios o efectos del proyecto. Estos beneficiarios indirectos, muchas veces son familias u organizaciones ligadas al proyecto. No es adecuado sobre-estimar la relacin beneficiario directo-indirecto mas all de lo que indica la experiencia previa en proyectos similares, ni menos aun utilizarla como recurso para aumentar artificialmente el numero de beneficiarios de un proyecto. Segn las lneas programticas de una poltica social puede interesar fijar una discriminacin positiva para un tipo particular de beneficiarios como mujeres, etnias, adultos mayores, etc.; condicin que debe ser considerada para flexibilizar modalidades de acceso al programa o proyecto.

4 Con algunas variaciones los grupos focales, son asimilables a las entrevistas grupales, grupos de discusin o focus groups.


18

II.5.

Seleccin de beneficiarios

La seleccin a un proyecto implica una modalidad de acercamiento al grupo objetivo y se relaciona indirectamente con la cobertura del proyecto. La seleccin rigurosa en est en relacin directa a la cobertura del proyecto. En algunos casos, se impone una seleccin interna tanto del bien o servicio ofrecido como de la diferenciacin por nivel de dficit de los demandantes. Muchos programas inducen o estimulan el acceso de los grupos objetivos. El atractivo o magnitud de la induccin facilita la captacin de usuarios. As un Programa de cuidado infantil que entrega alimentacin complementaria o leche, lo que permite adicionalmente la vacuna y control peridico del beb, o un Programa de Alimentacin Escolar, incentiva la asistencia a la escuela por la factibilidad de alimentacin gratuita para los hijos. En resumen, se usa un recurso de otro Programa para captar a la poblacin objetivo. En algunas circunstancias este incentivo es monetario, como becas de mantencin. Esta modalidad est sujeta a debate, por cuanto muchos se cuestionan un eventual estmulo a una relacin utilitaria y dependiente con programas sociales. El acceso puede incluso estar mediado por una coaccin e incluso por sanciones legales, y medidas coercitivas, como multas o prdida de acceso a otros programas o proyectos sociales. Por ejemplo, en una campaa de inmunizaciones la confianza en una demanda espontnea con certeza ira en desmedro de la salud de la poblacin. Eventualmente, el acceso puede producirse por derivacin o transferencias entre programas, como en el caso del sector salud, donde se asignan pacientes del nivel primario al secundario Tambin existen en selectividad o autoseleccin por motivacin o inters de los beneficiarios. La voluntariedad es propia de intervenciones de escasa demanda, ya que en el caso de un dficit agudo de una necesidad bsica toda la poblacin carenciada intentar acceder al proyecto. La selectividad en el acceso y altas exigencias en la eleccin del usuario, influyen en las posibilidades de xito de un programa, ya que esta seleccin apunta a lo mejor del universo escogido. Un ejemplo est en la eleccin de menores irregulares con mejores calificaciones, sin adiccin a drogas o antecedentes penales. Esto puede prestarse para usos inadecuados de los criterios de seleccin y produce desequilibrios, desde el inicio, en el desempeo de proyectos cuando estos actan bajo criterios restrictivos. En la determinacin de las reglas que fijarn el ingreso deben excluirse criterios marginalizantes que puedan estar asociados a la capacidad de pago de la persona y que implican una exclusin socioeconmica indirecta (pago por servicios o actividades conexas). Es la situacin, por ejemplo, del sector universitario, donde el ingreso est limitado por altos aranceles de matrcula, o, en el caso de los programas habitacionales, con la exigencia de ahorro previo para acceder a viviendas sociales. Una forma de mejorar el acceso de posibles usuarios consiste en el uso de sistemas mviles de oferta de servicios, debido a que los beneficiarios tienen problemas de acceso al programa y entonces deben ser localizados en sus residencias o lugares de trabajo. Esa es la situacinEl Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

19

caracterstica de los proyectos dirigidos a sectores rurales o focalizados en enfermos o adultos mayores postrados. La motivacin con que ingresa un usuario es un predictor de xito de un programa. Esta motivacin es mayor en las intervenciones voluntarias, ya que en las obligatorias los clientes son heterogneos y con diferentes grados de motivacin y percepcin de sus necesidades. Es explicable entonces el impacto positivo que tienen los proyectos de las ONGs que trabajan con demanda espontnea. En proyectos con demanda espontnea se facilitan los cambios conductuales o actitudinales. Es as como en programas gubernamentales de educacin popular los usuarios llegan por motivacin o por contacto previos con la institucin. 5 Es recomendable utilizar para el ingreso al proyecto una ficha de registro que contiene datos del diagnstico o antecedentes del usuario. Estos datos permiten utilizar la instancia del ingreso del programa para establecer una lnea base o medicin pre-test, que sirvan de contraste con los indicadores de impacto en la evaluacin ex post. II.6. Localizacin

Todo programa o proyecto social est localizado espacialmente. Esa localizacin responde a dos lgicas espaciales que son contradictorias. Por una parte, los programas sociales tienen las ventajas de las mismas economas de escala porque los servicios sociales tienen fuertes economas a medida que aumenta su volumen de entrega. Y externas porque se localizan en un punto del espacio que es equidistante de sus insumos fundamentales y del mercado. Luego, la localizacin de estos servicios es en puntos centrales que concentren una demanda masiva y heterognea. Un buen ejemplo de esta lgica sera la localizacin de un hospital de especialidades que cubra una demanda nacional. Por el alto monto de la inversin, estos establecimientos se localizan en un punto fijo, usualmente una metrpoli. En un sentido contrario, el grupo objetivo o el usuario est interesado en obtener el servicio con un costo mnimo de accesibilidad y en un punto ptimo, como el lugar donde desarrolla sus actividades cotidianas, ya sea su vivienda o su lugar de trabajo. Naturalmente, la localizacin real de un programa social es un compromiso entre ambas lgicas, aunque en ciertas ocasiones el Estado subsidia algunos costos para lograr una mejor accesibilidad geogrfica del proyecto. Algunos ejemplos estn en los proyectos rurales de atencin primaria, educativos o de capacitacin.

5

En algunos casos, los usuarios pueden convertirse en demandantes permanentes, marginando a otros posibles interesados.El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

20

III. MARCO INTERPRETATIVO Y PROPUESTAIII.1. Marco analtico y alternativas de solucin

El diagnstico de todo programa social debera conducir a una alternativa de solucinsustentada en marcos analticos de tipo interpretativo, derivados de la acumulacin bsica de conocimiento en el rea. El marco analtico est asociado a la investigacin bsica referida a programas sociales. En los hechos, en algunas circunstancias se carece de tal marco, con lo que pierden gran parte de su futura eficacia por carecer de referentes tericos, o por que estos estn basados en antecedentes no vlidos y confiables,. Un buen antecedente para el marco analtico es el ya mencionado rbol de Problemas o de Causas. El ejemplo siguiente muestra su aplicacin a un caso concreto Diagrama 4. APLICACIN DE RBOL DE CAUSAS

PERDIDA DE IDENTIDAD CULTURAL REGIONAL

Baja escolaridad

Escaso asociacionismo

Consumismo

Baja inversin cultural pblica

Pobreza

Migraciones

Escaso rol del Estado

Concentracin urbana

CAUSASEn este rbol de problema se advierte que en relacin a las variables estructurales o intermedias, no existe necesariamente una posibilidad de intervencin sobre las mismas.


21

Sin embargo, hay muchos problemas sociales en que an no logra generar marcos interpretativos validos sobre ciertos tipos de intervencin, como es el caso del SIDA, la salud mental, adicciones, etc.6. Pero con una revisin y sistematizacin de experiencias anteriores es posible deducir un nivel mnimo de acumulacin terica, que sirvan para identificar alternativas de solucin. Este marco interpretativo debe permitir, adems, desprender posibles alternativas de intervencin efectivas y eficientes. La debilidad de marcos interpretativos explica la falta de correspondencia entre la situacin problema y la solucin propuesta. Esta desproporcin es frecuente. en proyectos a pequea escala entre la magnitud o complejidad de la situacin problema y la especificidad o concrecin de la solucin propuesta. III.2. Alternativas de Solucin

El marco interpretativo se puede traducir en alternativas de solucin, la que se pueden derivar de la aplicacin del rbol de Objetivos.

6 En algunos proyecto de carcter piloto, no es necesario que una intervencin tenga anticipadamente un marco terico;El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

22

Diagrama 5

rbol de objetivos

Incremento de identidad cultural regional

Seminario de gestin cultural con actores regionales

Festival de msica y canto

Asistencia Tcnica para monitores de rescate de cultura popular

Eventuales alternativas de solucin

Conciencia de deterioro de identidad por actores

Inters por recopilar antecedentes de desarrollo histrico

Actitud favorable a la manutencin de la cultura

Medios fundamentales para la accin o el cambio del Problema Falta de identidad cultural

En este rbol de objetivos se advierte que en relacin a las variables estructurales o intermedias, no existe necesariamente una posibilidad de intervencin sobre las mismas de parte de los ejecutores del proyecto. Muchas intervenciones sociales carecieron en su momento de un rbol de Objetivos, lo que particularmente patente en proyectos de capacitacin en que la fase de antecedentes y diagnostico se describen altos niveles de desempleo y trabajo informal, y la propuesta solo alude a proyectos de capacitacin o micro-empresas, las cuales, por mas exitosos que se postulen sus intervenciones, difcilmente modifican la magnitud de los dficit detectados en la fase de diagnstico.


23

Situaciones similares se advierten en proyectos abocados a la salud mental, las adicciones, el embarazo precoz o los procesos migratorios, en los cuales hay un marcado desequilibrio entre la magnitud del diagnstico y lo limitado de la intervencin. Los paradigmas profesionales y destrezas operacionales del grupo tcnico influyen en las variables seleccionadas como alternativas de solucin. Por ejemplo, la alternativa de solucin en un problema de drogadiccin de un psiclogo clnico pueden ser significativamente diferentes a las de un psiclogo comunitario o sistmico y tal diferencia se reflejara en la intervencin seleccionada dentro del rbol de Objetivos III.2 Anlisis de prefactibilidad de alternativas de solucin Las soluciones estimadas deben satisfacer requisitos de factibilidad para garantizar el xito de la alternativa de solucin seleccionada. Una mala eleccin de alternativa de solucin puede conducir a resultados que pueden ser precarios o efmeros. Los criterios de decisin son generalmente los siguientes Prefactibilidad tcnica: diseos, estrategias y metodologas pertinentes. Prefactibilidad financiera: disponibilidad y fuentes de fondos para inversin y operacin. Prefactibilidad econmica: valorizacin de recursos y recuperacin de costos. Prefactibilidad administrativa: fortaleza del organismo ejecutor Prefactibilidad social: incremento del bienestar equidad y empoderamiento de los beneficiarios.

Por ejemplo, una alternativa de solucin basada en pocas charlas informativas no superara un anlisis de prefactibilidad tcnica por ser una estrategia no pertinente para modificar conductas asociadas a la prevencin de enfermedades de transmisin sexual. Una alternativa basada en monitores juveniles podra superar el anlisis de prefactibilidad tcnica, pero podra tener como ejecutor una ONG de escasa fortaleza institucional, luego no superara un anlisis de prefactibilidad administrativa Luego el desafo para un proyecto social es lograr el mximo posible de anlisis de prefactibilidad positivos para lograr un resultado eficaz en un perodo reducido de tiempo, El proceso de anlisis de prefactibilidad tiene cierta similitud con los anlisis de riesgo en los que se determinan las probabilidades de xito de una combinacin de alternativas. Cabe recordar la importancia que tiene, en las distintas prefactibilidades, una subdimensin de la prefactibilidad social que es el empoderamiento o de capacidad de autonoma de beneficiarios, evitando una solucin asistencial o dependiente de subsidios en la fase posterior al proyecto.


24

III.3.

Objetivos y metas

Los programas tienen objetivos generales basados en la estrategia o poltica social vigentes y orientados a mejorar los dficit o carencias detectadas. Muchas veces hay falta de precisin en los objetivos programticos, lo que dificulta su evaluacin posterior, y obliga al programador a deducir ex post criterios de evaluacin de programas, generalmente basados en indicadores nacionales y regionales de equidad, redistribucin y fortalecimiento institucional. Todo proyecto o programa tiene objetivos, ya sea implcito o explcito. La naturaleza del objetivo puede ser de carcter fisiolgico (preservacin de la vida), cognoscitivo (entregar conocimiento), afectivo (expresin emocional), conductual (cambio o logro de rutinas conductuales, hbitos, etc.), organizacional y grupal. Los medios para lograr estos objetivos consisten en bienes (vivienda, paquetes alimentarios, vacunas, etc.) o en servicios (horas de capacitacin, prestaciones mdicas, etc.). En relacin al grupo objetivo, es ms sencillo programar objetivos con unidades ms identificables (generalmente el individuo, como es el caso de indicadores de rendimiento individual en educacin). Los objetivos grupales u organizacionales se pueden considerar como impactos u objetivos de desarrollo pero, dado que las tcnicas de investigacin social registran generalmente respuestas a nivel individual, la evaluacin de esos objetivos es compleja. Como alternativa se ha intentado utilizar tcnicas de investigacin organizacional registradas externamente como observacin o entrevistas grupales. Aun as, estas tcnicas no garantizan que efectivamente se estn registrando vlidamente objetivos basados en cambios organizacionales. Los objetivos deben cumplir una serie de requisitos como: - ser secuenciales, estipulando los objetivos generales o de desarrollo, generalmente a largo plazo, y luego los objetivos especficos o de corto plazo destacando dentro de ellos una secuencia temporal de relacin causa-efecto. - ser mensurables; o sea que se expresen en Metas que identifican mediante cifras o nmeros absolutos, en unidades fsicas o de servicios, aunque en lo posible los objetivos especficos deberan apuntar a fijar porcentajes de variacin (incremento o disminucin) en relacin a un porcentaje que sirva de lnea base. Si no es factible la cuantificacin del objetivo, al menos mencionar el listado empricamente verificable de Metas o logros esperados del proyecto.


25

III.4.

El uso del marco lgico

Una forma de jerarquizar y dar secuencia a la operacionalizacin de un programa o proyecto es utilizar el marco lgico, que no es ms que un esquema ordenador de la formulacin e implementacin de un proyecto. El marco lgico es de uso generalizado en proyectos de cooperacin internacional, y una resea de su organizacin se aprecia en el siguiente diagrama. Cuadro 4 MARCO LGICO DEL PROYECTO Sntesis Indicadores objetivamente verificablesParticipacin Acceso a mercados Grado de desnutricin Nmeros de bienes y servicios Porcentajes

Medios de verificacin

Supuestos

Objetivo de desarrollo o FIN Objetivos inmediatos o Propsito. Metas Mejorar Aumentar Disminuir

Registros administrativos Informacin de la organizacin Registros sectoriales Datos municipales Entrevistas

Estabilidad macroeconmica Accesibilidad a la informacin Aceptacin de usuarios Organizacin comunitaria

Resultados o Productos

Nmeros de bienes y servicios otorgados

Registros sectoriales Datos municipales Entrevistas Informantes claves

Estabilidad de la intervencin Viabilidad de la evaluacin

Capacitacin Variaciones en lnea base Alimentacin porcentual Asistencia tcnica

Insumos Disponibilidad de Centro comunitario Infraestructura infraestructura, Insumos Existencia de registros Recursos humanos recursos humanos y Acuerdos institucionales Existencia de financieros Currculos Equipos organizaciones de apoyo Instrumentos de registro Organigrama Fuente: adaptado de CEPAL, Mujer y desarrollo: gua para la planificacin de programas y proyectos, 1984. Santiago.

Actividades.


26

La gran ventaja del Marco Lgico es que ordena jerrquicamente los diversos componentes del proyecto desde su aporte a los niveles superiores del programa o proyecto, como los objetivos de desarrollo (o fin en la terminologa de otros marcos lgicos) a los objetivos inmediatos de los proyectos (o propsito en otras terminologas) como los resultados que son sub-reas internas a los proyectos (o componentes segn otra nomenclatura. Otra ventaja es que direcciona el diseo del proyecto a indicadores verificables, ms que afirmaciones vagas o escasamente operacionales.


27

IV. PRESUPUESTO, ADMINISTRACION Y GESTION IV.1. Productos, requerimientos y presupuesto

Los

objetivos especficos o Metas son traducibles en la generalidad de los casos en productos, que cuantifican bienes y servicios otorgados por el proyecto. Para muchos programadores resulta parcial y limitante reducir la Metas a productos cuantificados, especialmente cuando existen otras externalidades e impactos de difcil medicin. Aun as, el esfuerzo de traducir los objetivos especficos de un proyecto a productos es fructfero, pues limita la vaguedad de que adolecen muchos proyectos sociales. El proyecto entrega un cantidad total de productos y cada uno de estos productos implica requerimientos o insumos, que a su vez servirn de base para disear el presupuesto del proyecto, como se aprecia en el siguiente esquema: Diagrama 6. PRODUCTO---------- REQUERIMIENTO------ PRESUPUESTO (Cuantificador) (Cuantificar insumos) (Monetarizar)

IV.1.1.

Cuantificacin de los productos

La cuantificacin del producto comprende cuatro elementos: - La unidad fsica o de servicios (por ejemplo, desayunos escolares o atenciones mdicas). - Duracin de la entrega: fecha de inicio y de trmino (por ejemplo, un ao, desde el 1 de julio 1994 al 30 de junio de 1995) - Nmero total de unidades que se entregarn segn tiempo: *) 4 sesiones mensuales, de dos horas cada una, durante seis meses (en total 48 horas), o *) 300 desayunos por da durante un ao; en total 109 500 desayunos - Descripcin de la unidad; por ejemplo, en el caso de desayunos escolares: tazn de leche, cereales y azcar, pan con mantequilla y dulce (1 150 caloras) En los programas o proyectos hay diversos tipos de productos, entre los que cabe mencionar: - Bienes de consumo duradero (vivienda)El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

28

- Bienes fungibles o de consumo inmediato (paquetes alimentarios, desayunos escolares) - Bienes fungibles de impacto duradero (vacunas, preservativos) - Servicios de impacto duradero (educacin formal o sanitaria) - Servicios de corto impacto (recreacin, informacin turstica) - Servicios de impacto difuso universal (comunicaciones). Cada uno de estos productos (o su combinacin) contribuye al impacto del proyecto. En algunas circunstancias son utilizados como substituto de indicadores de impacto del proyecto o programa. IV.1.2. Cuantificacin de los requerimientos

La cuantificacin de los requerimientos permite dimensionar recursos que se necesitan adquirir, contratar o comprar, para entregar los productos del proyecto. Los requerimientos se pueden dividir en seis tems, que tienen su contraparte en el desglose del presupuesto (Ver diagrama 7): Cuadro 5 REQUERIMIENTOS Insumos Equipamiento Infraestructura Personal Administracin Otros PRESUPUESTO Costo de los insumos Costo del equipamiento Costo de infraestructura Sueldos del personal Costos administracin Otros gastos

Se evidencia una correspondencia directa entre los productos, los requerimientos y los correspondientes rubros del presupuesto. En programacin social se utilizan diferentes nomenclaturas para referirse a los requerimientos. Considerando los trminos de uso frecuente, se pueden establecer las siguientes distinciones: - Insumos: se refieren a los bienes y servicios que son adquiridos para ser transformados en otros productos a lo largo del proyecto; por ejemplo, leche, horas-instructor, y otros. - Equipamiento: se refiere a los bienes que se adquieren para desarrollar el proyecto: mobiliario, herramientas. Esos bienes experimentan desgaste y la consiguiente depreciacin, con una duracin estimada en aproximadamente en ocho aos.


29

- Infraestructura: construcciones o instalaciones fsicas necesarias para el funcionamiento del proyecto. Se les imputa una larga duracin, que es cercana a los treinta aos. - Personal: recursos humanos necesarios para la generacin de los productos. Esos recursos pueden o no ser calificados. - Administracin: actividades que apoyan la ejecucin de un proyecto, es decir, contabilidad, comunicaciones, etc. - Otros requerimientos: becas, viticos, movilizacin y otros. - Prstamos: crditos de una institucin financiera en el caso de los proyectos productivos. En una presentacin simplificada de presupuesto, el FNUAP identifica los siguientes componentes: personal, subcontratos, capacitacin, equipo y gastos diversos (FNUAP, 1988). Los requerimientos que se solicitan a la agencia financiera pueden corresponder a donaciones o a prstamos. Se agregan aquellos aportes de los interesados. Estas diferentes fuentes de recursos son graficadas en un cuadro de fuentes de financiamiento, el que puede anexarse al presupuesto. IV.1.3. Tipos de presupuesto

La estructura presupuestaria vara radicalmente segn se trate de proyectos sociales o productivos. Dentro de la escala local y comunitaria ambos tipos de proyectos comparten elementos comunes, como su especificidad territorial, la orientacin a los sectores ms carenciados, o su ndole participativa y promocional. Los proyectos productivos tienen como finalidad producir bienes o servicios y generan ganancias monetarias a sus beneficiarios. En pequea escala (por ejemplo, microempresas) se puede incentivar una dimensin solidaria, aunque en definitiva su finalidad es la de transar bienes o servicios en el mercado. Usualmente son financiados por crditos o fondos rotativos, y por tanto los ingresos iniciales deben dirigirse a la amortizacin del crdito. Los proyectos sociales potencian a grupos de beneficiarios mediante la generacin o formacin de una capacidad, producto o servicio, que quedan incorporados en el capital humano y organizacional de personas o grupos. Sus gastos se entienden como financiados mediante una donacin7, y no implican devolucin al ente financista.

7

En el caso de un financiamiento mas permanente, tienen el carcter de subsidioEl Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

30

IV.1.4.

Flujo de caja

El flujo de caja es un cronograma financiero relacionado con la programacin de las etapas del proyecto y con las actividades de cada etapa. Es otra forma de la programacin temporal del proyecto, ya que en este flujo de caja quedan contenidos los ingresos y egresos. Ellos reflejan la valorizacin de todas las actividades del proyecto, incluyendo el seguimiento y la evaluacin. Para la construccin del flujo de caja debe tomarse en cuenta el calendario de desembolsos solicitados a la agencia financista. En el caso especfico de proyectos productivos se identifican, los momentos en que la agencia financiera recuperar los aportes prestados. Al terminar el perodo de financiamiento de la agencia el monto del prstamo debe ser igual al de su devolucin. Dada la exigencia de sustentabilidad econmica que implican los proyectos productivos, el presupuesto de caja debe ser construido con mucho realismo, evitando convertir un crdito en una donacin encubierta. Al respecto, la experiencia de los fondos rotativos en desarrollo rural y autoconstruccin es muy promisoria como forma de retorno y de uso ptimo del crdito. IV.2 Etapas y actividades

Las etapas se derivan de los objetivos y metas y definen la duracin del proyecto. Con relacin a la duracin de la intervencin hay que tener presente que la motivacin disminuye a medida que se prolonga la intervencin, aumentando el nmero de desertores. Para evitar estas deserciones habra que hacer un estudio de las causales y distinguir cules de estas son manejables, para as fijar en futuros proyectos niveles razonables de desercin. Una prolongada duracin de la intervencin puede llevar a intervenciones de menor calidad por escasez de recursos. El nivel decisorio o poltico puede identificar erradamente los proyectos de corta duracin con los de mayor impacto y marginar programas o intervenciones que inevitablemente deben ser de larga duracin. Para el control de las actividades del proyecto, la forma usual es su descripcin en un lapso de tiempo. Una manera de preparar este calendario es utilizar un diagrama, carta o grfica de Gantt, como se ilustra en el ejemplo siguiente:


31

Cuadro 6 CRONOGRAMA Etapas y actividades (semanas) Motivacin Actividad 1 Actividad 2 Actividad 3 Etapa II Organizacin Actividad 1 Actividad 2 Actividad 3 Etapa .. Actividad 1 Actividad .. Etapa I X X X

X

X X X

X X

1

2

3

12

La carta Gantt es til para detectar superposicin de actividades que tienen una secuencia lgica, o bien para coordinar actividades distintas que se implementan en un mismo perodo de tiempo. En la fase de ejecucin, cada actividad puede subdividirse en tareas con fecha de iniciacin y trmino, para definir plazos de cumplimiento. Se contemplan usualmente plazos holgados, para evitar ajustes apresurados o de ltima hora. Hay varios software de computacin que pueden ser herramientas de apoyo a una programacin y que tienen la virtud de una visualizacin de la descripcin de tareas, vinculacin de actividades, plazos de cumplimiento. Uno de ellos es el Microsoft Project, que nos proporciona diagramas como el siguiente: Diagrama 7 Carta Gantt


32

IV.3.

Modelo de gestin

El modelo de gestin o marco institucional de un proyecto proporciona informacin sobre el organismo ejecutor u otros actores involucrados en el proyecto. Describe la estructura organizativa en el proyecto de los beneficiarios, grupo tcnico, y otros actores involucrados en el proyecto. La tendencia actual es formular modelos de gestin participativos en los proyectos sociales. 8 Los modelos de gestin pueden ser altamente institucionalizados hasta otros de ndole comunitaria o no institucional. Esta variabilidad refleja diferentes concepciones de gestin organizacional, los modelos escasamente institucionales contribuiran a un mayor impacto ya que potenciaran un clima de espontaneidad. Otros enfoques consideran que una gestin desinstitucionalizada sera disfuncional para ciertas modificaciones conductuales. Aunque es complejo implementar modelos de gestin no institucionalizados, la evidencia emprica avala el xito de algunos de ellos, como programas de de comunicacin en planificacin familiar. El modelo de gestin institucionalizado es propio de programas o proyectos en que el sistema de entrega de bienes o servicios implica necesariamente una permanencia de las personas en un lugar (uso de bibliotecas, herramientas, etc.) y donde generalmente se controlan o inhiben las transferencias a otras personas. El control de filtraciones puede incrementar los costos econmicos o administrativos del sistema de entrega. 9 Modelos de gestin participativos Dentro del modelo de gestin, es importante analizar el rol del la participacin de los usuarios y si los beneficiarios participarn uniformemente en todas las etapas, o si es adecuada que los niveles de participacin varen por razones tecnolgicas, segn la etapa de produccin (por ejemplo en la construccin de vivienda) o puntos crticos en la toma de decisiones.. Los modelos de gestin participativos, bajo la perspectiva de la eficiencia se perciben como ms lentos. Sin embargo, por el xito de tcnicas participativas derivadas de la planificacin estratgica, esta aprensin esta cambiando con rapidez. A esto debe aadirse la tendencia a que el Estado tiende a derivar la ejecucin de proyectos a un entidad externa (ONGs, gobierno local u otros) estableciendo al interior del proyecto mecanismos de participacin como Comits o Consejos consultivos. Los modelos de gestin participativos surgen como componente clave en el diseo de proyectos sociales cuando hay limitaciones severas en el incremento del gasto social, ya que permite disminuir los costos crecientes de los servicios por persona atendida, como produccin de material grfico o audiovisual. En los proyectos de educacin sanitaria tambin8 En parte debido a la incorporacin de esquemas propios de la planificacin estratgica 9 El modelo de gestin no puede evitar filtraciones en el caso de servicios pblicos, como programas de TV abierta o radio.El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

33

puede haber una participacin conjunta de la poblacin con el grupo tcnico en la implementacin. En los programas o proyectos institucionalizados es limitada la participacin comunitaria, como por ejemplo en la educacin forma donde casi todas las actividades estn estructuradas de antemano. Una hiptesis que se puede formular es que la estandarizacin y el requerimiento de elementos tcnicos y complejos frenaran la participacin. Eventualmente un modelo de gestin participativo puede ser nocivo o disfuncional por la falta de conocimiento de los beneficiarios en la ejecucin tcnica y organizacional del proyecto. Entre los elementos limitantes de la participacin se destaca: el cacicazgo, la manipulacin, el clientelismo y la selectividad en el ingreso de los beneficiarios, desigualdades de gnero, la duracin y horario del proyecto. Las limitantes y potencialidades de la participacin debe contemplarse con realismo en la identificacin del modelo de gestin, explicitando los supuestos o restricciones a la participacin.


34

V. SUPERVISIN DE PROYECTOS

El paso siguiente al diseo del proyecto, incluyendo sus aspectos temporales y financieros,es su aprobacin por la agencia financista y su implementacin. Actualmente es un lugar comn afirmar que la implementacin de un proyecto es bastante ms que la proyeccin en el tiempo de su diseo o formulacin. Para ello se ha planteado la supervisin de proyecto. El proceso de supervisin tiene tres niveles cualitativamente diferentes: el control y financiero y el monitoreo tcnico y de procesos interactivos vigentes en la ejecucin de la intervencin. V.1. Control financiero

La prctica de un control financiero es comn en todo tipo de programa o proyecto social. Precisamente por la escasez de recursos, el Estado y otro agente financista se reserva una supervisin rigurosa de la rendicin de cuentas por parte del ejecutor. Son comunes las rendiciones mensuales de egresos, o las autorizaciones de giros en funcin de aprobacin de informes tcnicos. Esta supervisin financiera se apoya en el presupuesto de caja y de fuentes de financiamiento originalmente estipulada en el diseo del proyecto. V.2. Control tcnico

El control tcnico como evaluacin de implementacin, apunta a una supervisin de las etapas y actividades y el proceso de entrega de bienes y servicios. En proyectos sociales de escala local se utiliza generalmente una combinacin de controles tcnico-financieros mediante listas de verificacin, que incluyen eventualmente factores ms dinmicos dentro de la implementacin del proyecto. Esta modalidad resulta evidente en la pauta de seguimiento de proyectos no-gubernamentales por un Ministerio de Salud de Amrica Latina (ver cuadro adjunto)


35

Cuadro 7 FICHA DE SEGUIMIENTO PROYECTOS (Ej. MINSAL-ONGs) I. INFORMES Y EVALUACIONES1. Informes tcnicos mensuales ONG-Departamento de Atencin Primaria (DAP). 2. Informes financieros mensuales ONG-DAP 3. Evaluaciones tcnicas trimestrales DAP-MINSAL 4. Evaluaciones financieras trimestrales DAP-MINSAL % de cumplimiento % de cumplimiento

II. DESCRIPCIN DE ACTIVIDADES Y MATERIALES1. Actividades de atencin de salud 2. Actividades educativas 3. Actividades de coordinacin local 4. Actividades intersectoriales 5. Otras actividades: comunicacin, participacin, etc. 6. Produccin de material didctico 7. Otros materiales Tipo de Destinatario actividad Recursos humanos N de asistentes

Tipo de Destinatario N N actividad sesiones participantes Tipo de actividad

Coordinado con

III. EVALUACIN CUALITATIVAGrado de cumplimiento segn Cronograma Problemas Obstculos

IV. FACILITADORES

LOGROS

V. SUPERVISIN MINSALFecha Nombre Observaciones


36

La utilidad de sta o cualquier ficha de supervisin tcnica estn en su capacidad para registrar validamente una serie de problemas recurrentes en el seguimiento de proyectos. Una alternativa de solucin consiste en disear pautas de supervisin con estructura de escalas, con listado o inventarios de situacin en un rango de calificacin, como se advierte en algunas pautas de supervisin de un Fondo de Inversin Social, de la cual se presenta una versin abreviada Cuadro 8 INFORME DE SUPERVISIN DE PROYECTOS FONDO DE INVERSIN SOCIAL OBJETIVOS DEL PROYECTO EN RELACIN A LOGROS OBTENIDOS A LA FECHAEjecucin del proyecto Etapa o actividad

Fecha real Inicio/ Termino Si No No aplicable

Financiamiento Fondo Previsto/ Recibido Comentarios

Listado de verificacin Planificacin y coordinacin Avance del proyecto Financiamiento Ejecutor Beneficiarios Conclusin

PRINCIPALES CONCLUSIONES Y RECOMENDACIONESMedidas a ser tomadas Por el ejecutor Por el Fondo Por otros

Uso Secretara de Planificacin

CONTINUACIN

TRMINO DE PROYECTO

Posiblemente esta estructura escalar (que de hecho es una dicotoma) deje en la penumbra la evaluacin de procesos interactivos en el proyecto, propio de la dinmica de implementacin de proyectos, los cuales se desarrollan en la Seccin siguiente.


37

VI. EVALUACION EN PROYECTOS SOCIALES VI.1. Los grandes modelos de evaluacin

n un sentido estricto, la evaluacin iluminativa puede ser categorizada, segn sea el tipo de programa evaluado, en los diferentes diseos mencionados en los puntos anteriores. Por lo tanto, los programas o proyectos evaluados por este enfoque pueden ser de corte experimental o no experimental pero tienden, por el uso generalizado de tcnicas cualitativas, a aproximarse a los no experimentales. Ms aun, esta evaluacin implica solamente un nfasis cualitativo en el registro e interpretacin de la informacin recogida en el proceso evaluativo, pero sin diferencias epistemolgicas con las modalidades usuales de evaluacin de eficacia, como se puede apreciar en el Cuadro siguiente. Cuadro 9 CLASIFICACIN DE LOS MAYORES MODELOS EVALUATIVOS CUALITATIVOSMODELO AUDIENCIAS METODOLOGIA ANALISIS LOGICO SISTEMATICO RESULTADO PREGUNTAS TIPICAS EFECTOS GENERALES DEL PROGRAMA, INCLUYE EFECTOS SECUNDARIOS APROBACION POR CRITICOS ESPECIALIZADOS

E

LIBRE DE OBJETIVOS

CONSUMIDORES

UTILIDAD SOCIAL GLOBAL

CRITICA ARTISTICA

ESPECIALISTAS CONSUMIDORES

REVISION CRITICA

MEJORIA DE ESTANDARES

ACREDITACION

PROFESORES, PUBLICO JURADOS

PANELES

ACEPTACION

RANKING POR PROFESIONALES ARGUMENTOS EN PRO Y CONTRA PERCEPCIONES DIFERENTES DE UN PROGRAMA

ADVERSARIO

SIMULACION DE JUICIOS

FALLO DEL PROGRAMA

TRANSACCIONAL CLIENTES, PROFESIONALES

ESTUDIO DE INTERPRETACASOS, CION, ENTREVISTAS. DIVERSIDAD OBSERVACION


38

En los modelos reseados se encuentran la mayora de las evaluaciones aplicadas a programas o proyectos. En la evaluacin libre de objetivos se engloban a los diseos experimentales y de costo-beneficio. VI.2. Caractersticas de los diseos evaluativos

La evaluacin debe ser ms que el uso de criterios parciales como los mencionados en la Seccin anterior, mediante la eleccin del diseo evaluativo mas valido segn el tipo de programa y considerando adicionalmente sus costos. En caso de una evaluacin participativa debe considerar una eventual identificacin o parcializacin del grupo de beneficiarios con el proyecto, que podra limitar su objetividad sobre los diversos resultados del proyecto. Por ejemplo, se podra estimar que una evaluacin negativa del proyecto puede conducir a la cancelacin del mismo, con las perdidas respectivas para la poblacin. Usualmente, los diseos evaluativos se basan en indicadores de bienes fsicos, entrega de servicios, monetarizacin de beneficios o patrones conductuales. Se pretende evaluar el cambio estableciendo uno o mas variables independientes como variable de intervencin y actuando con efectos positivos en el grupo beneficiario. VI. 3. Los datos e instrumentos para la evaluacin de un proyecto.

La opcin por un instrumento determinado depender, entre otros factores de: el grado de confiabilidad requerida (estabilidad en la medicin), la validez deseada (riqueza terica de la medicin), los fondos financieros y el tiempo disponible, la posibilidad de aplicacin (puede implicar destreza profesional o instrumental), las complejidades de procesamiento, la necesidad de monetarizacin de beneficios, etc. Los datos e instrumentos anteriores recogen informacin ya sea de medios o resultados de programas. Para cada diseo evaluativo se necesitan datos diferentes, as por ejemplo, para la evaluacin de una campaa de vacunacin se necesitan datos secundarios de tipo cuantitativo, en tanto para evaluar un proyecto de desarrollo de imagen institucional, se requiere informacin primaria cualitativa. Al respecto se puede disear la siguiente matriz de la relacin entre datos, tipos de instrumento y tipo de diseo


39

CUADRO 10 DATOS CUANTITATIVOS, INSTRUMENTOS Y DISEO DE EVALUACION. DATOS CUANTITATIVOS DATOSPrimarios:

INSTRUMENTOTest Escalas Cuestionarios Censos Encuestas de hogares Estadsticas sectoriales Flujos de caja

TIPO DE DISEODiseos experimentales Diseos experimentales Diseos cuasi experimentales Modelos de Regresin Modelos De Regresin Costo- efectividad Series Temporales Series Temporales Costo-beneficio

Secundarios:

Los datos cuantitativos provienen de instrumentos de alta estandarizacin y son propios de la familia de la evaluacin en base al diseo experimental. Los datos cuantitativos secundarios registran las magnitudes fsicas o financieras de insumos o recursos utilizados en los proyectos. En este caso, entregan informacin, por ejemplo, sobre la cantidad de horas de atencin mdica, nmero de operarios en un proyecto de absorcin de empleo, metros cuadrados construidos con fines habitacionales, etc. El uso de estas estadsticas con fines evaluativos tienen el grave defecto de asociar beneficios o impactos a medios que, siendo una condicin necesaria, no son definitorios para lograr resultados positivos en los proyectos. En otros trminos, la abundancia o escasez de los medios no necesariamente implica un impacto social en las prestaciones o resultados de la intervencin. El sistema administrativo de recoleccin de datos habitualmente recoge estadsticas de medios (nmero de camas, postas, viviendas, salas de clases, profesores, etc.) lo que lleva a que, por lo general, se evale sobre la base de medios, limitando el alcance de la evaluacin. Un ejemplo de estas evaluaciones en el sector habitacional es la que se hace por el nmero de viviendas, de saneamientos bsicos construidos, de lotes y servicios habilitados, de conexiones de alcantarillado, etc.


40

CUADRO 11 DATOS CUALITATIVOS, TIPOS DE INSTRUMENTOS Y DISEO DE EVALUACION DATOS PRIMARIOS: INSTRUMENTO Entrevista Observacin Participante Dinmica Grupal SECUNDARIOS: Anlisis de Contenido Biografas Documentos TIPO DE DISEO Evaluacin Cualitativa Evaluacin Cualitativa Evaluacin Cualitativa Evaluacin Cualitativa Evaluacin Cualitativa Evaluacin Cualitativa

A nivel de datos cualitativos primarios estn las dinmicas o tcnicas grupales que describen los procesos o resultados de un proyecto social. Las tcnicas grupales no entregan un patrn evaluativo estandarizado, permiten intercambios de ideas, que resultan de una sntesis evaluativa que puede aportar al informe final de proyecto. Tambin datos cualitativos son aportados por entrevistas a beneficiarios, o a personas particularmente interesadas en el proyecto. Ellas son los lderes locales que podran ser beneficiarios desde el punto de vista de su status, poder o beneficio material. Estas entrevistas a informantes comunitarios pueden tener el sesgo del rol de intermediacin que ellos cumplen entre el grupo tcnico y los beneficiarios. Un sesgo similar puede producirse con las entrevistas grupales como tcnica evaluativa, ya que en ellas pueden presenta inicialmente el problema de la identificacin del grupo de beneficiarios con el proyecto, pues este grupo recibe del proyecto beneficios como bienes o servicios. Aun as, estas tcnicas son indicadores evaluativos en una metodologa participativa, siempre y cuando estas evaluaciones colectivas definan a priori indicadores de resultados consensuados y se preste atencin a la tendencia al pensamiento grupal o a "efectos de vagn de cola" estimulados por los opinantes ms importantes o prestigiados, usualmente profesionales o lderes influyentes en la poblacin objetivo. Las mismas precauciones son aplicables a las entrevistas que involucran slo a los usuarios o al grupo tcnico.


41

Algunas variantes ms formales de la entrevista como indicador evaluativo pueden ser los grupos nominales, como grupos Delphi u otras variantes grupales de evaluacin de intervenciones sociales. Por otra parte, los diseos deben considerar la complejidad de evaluar resultados a niveles conductuales y procesuales. Una evaluacin debe registrar cambios conductuales como hbitos de higiene, rehabilitacin de conductas de riesgo, cambios en patrones de consumo, retencin de mensajes, etc. En estos ejemplos es obvio que los resultados pueden estar afectados por otros factores intervinientes. La atribucin de resultados debe basarse en el conocimiento previo de una relacin entre medios y fines, ya que la eficacia o impacto de un proyecto en la poblacin objetivo depende de la probabilidad de xito estimada de la intervencin. Muchas veces, estas probabilidades de xito son relativamente desconocidas o puede haber perdida de eficiencia en los efectos de esta cadena medios-fines. Por ejemplo, el incremento de la inversin en tecnologa comunicacional no se traduce necesariamente en incremento en retencin de mensajes o contenidos sociales. La evaluacin necesita asociarse tambin a la maduracin de resultados del corto plazo y a impactos del mediano y largo plazo. Para ello se puede recurrir a indicadores con la calidad de predictores conductuales por ejemplo, en el rea de extensin rural, tales predictores de la conducta de los beneficiarios sera el uso de semillas seleccionadas en la cosecha inmediata. En este sentido, es importante la necesidad de identificar estos indicadores predictores, para evitar el alto costo o necesidad de evaluaciones de seguimiento de los beneficiarios. La identificacin de estos predictores es particularmente difcil en programas de salud mental, rehabilitacin conductual, educacin popular, capacitacin, microempresas y, en general, en todos aquellos en que la investigacin bsica an no permite una identificacin precisa de impactos del largo plazo. VI.4. Evaluacin en los sectores sociales. Complementariamente a los diseos evaluativos ya descritos, es necesario destacar que la evaluacin se aplica a intervenciones que, en la generalidad de los casos, estn insertas en programas sectoriales. Luego, es importante hacer referencia a las exigencias especficas de la evaluacin en relacin a diferentes sectores sociales. La evaluacin en el sector educacin es la que posee la mayor cantidad y calidad de los diseos evaluativos (Briones, 1991). El sector tiene una serie de ventajas para un mejor desarrollo relativo de diseos evaluativos: Una gran cantidad de beneficiarios con una base de datos demogrficos, psicolgicos, sociales y econmicos que permite extraer muestras de las diferentes variables que componen los programas sociales y utilizar estudios de impactos de carcter multidimensional. 42


Como consecuencia de lo anterior, se dispone de datos de grandes programas nacionales por nivel de enseanza, localizacin geogrfica, sexo, edad, etc. Una mayor capacidad manipulativa del grupo objetivo, que est sujeto a rutinas de horario, ubicacin geogrfica y, en la mayora de los casos, puede adaptarse a las exigencias de manejo de los diseos evaluativos ms rigurosos. A su vez, el sector educacin dispone de abundantes estadsticas para evaluar, simultnea o secuencialmente, indicadores de medios (horas docentes, cantidad de matrculas, metros cuadrados en edificios escolares, etc.) con indicadores de resultados (tasas de aprobacin, repitencias, desercin, etc.) e incluso con tasas de retorno econmico de los diferentes niveles de enseanza. Recientemente se han estandarizado instrumentos evaluativos de factores como relacin profesor-alumno, autoestima, afectividad y relaciones interpersonales. El sector salud tiene como meta principal evitar la muerte en grupos objetivos (mujer, nio, adultos), disminuir su propensin a enfermarse y mantener su bienestar fsico y mental. En la prctica, la intencin de muchos programas de salud es evitar la mortalidad en los grupos de alto riesgo (el caso de las madres embarazadas y los nios pequeos), controlar o prevenir embarazos, desnutricin o enfermedades infecciosas en menores (OPS, 1986). Esto significa que el Estado atiende preferencialmente a estos sectores. Los criterios de evaluacin se concentran en : - Indicadores de medios o insumos que expresan la disponibilidad e intensidad de uso de insumos o recursos humanos en las prestaciones de salud. Los indicadores de medios son tiles para evaluaciones en el corto plazo. - Indicadores de resultados por programas de salud: los indicadores de resultados apuntan generalmente a la mejora de los indicadores maternos infantiles y de esperanza de vida. Se vislumbra como desafo para el sector salud la definicin de indicadores de impacto para futuros riesgos en salud, hacia las cuales los pases de Amrica Latina transitan con rapidez, como la relacin salud-hbitat en el proceso de urbanizacin y metropolizacin, la emergencia del SIDA, las ETS, los riesgos en salud laboral, la accidentalidad, etc. El sector vivienda es el que plantea mayores dificultades de evaluacin. Las razones son: - La dificultad de disponer de beneficiarios en el grupo objetivo y asignarlos a un grupo experimental y de control, ya que muchas veces se trata de demandantes heterogneos, atomizados espacialmente, etc. - La larga duracin del bien otorgado que, de hecho, es la intervencin del programa (la vivienda o similares). Ello impide aislar en el tiempo el impacto simultneo o secuencial de la misma de otros factores asociados en las conductas beneficiadas por la obtencin de la vivienda. 43


- La precariedad terica y metodolgica de las investigaciones que ligan causalmente la vivienda a impactos en higiene ambiental, interaccin familiar, salud mental, etc. En la prctica, la evaluacin en el sector vivienda es una evaluacin de medios a los que se imputa apriorsticamente resultados en distintas subdimensiones de la calidad de vida. Si se considera la vivienda como un medio de satisfaccin de necesidades bsicas, el procedimiento lgico sera determinar la influencia que ejerce la vivienda en la satisfaccin de tales carencias. El intento se ha concentrado en el impacto positivo de la vivienda en la higiene ambiental, especialmente en la disminucin de las enfermedades infectocontagiosas. La aplicacin de diseos experimentales y cuasi experimentales entrega resultados dudosos, por la dificultad de aislar variables independientes al margen de la intervencin habitacional. As, en asentamientos precarios urbanos se aplicaron diseos de tipo cuasi experimental entre postulantes y no postulantes al programa de loteos y servicios, y la medicin del impacto en la higiene ambiental fue interferida por la cercana espacial de los grupos experimental y de control que coexistan en la misma poblacin. Otra modalidad de medicin de impacto de la vivienda reside en la percepcin de su impacto sobre los usuarios. Al respecto, los estudios de percepcin o satisfaccin habitacional indican que lo importante no es tanto captar la satisfaccin o rechazo global de la vivienda sino discriminar la percepcin de funciones especficas habitacionales (estar, dormir, comer, higiene, circulacin) y la relacin y calidad del hbitat inmediato a la vivienda. Ms compleja es la evaluacin del impacto de la vivienda en el sistema interactivo de la familia, en la medida en que el diseo y la localizacin de la vivienda influyen diferencialmente en los miembros de la familia, lo que se modifica a medida que transcurre el ciclo vital. Con relacin al tema de justicia o de defensa social, el sector se presta, por razones obvias, para la aplicacin de diseos evaluativos, ya que maximiza las ventajas del diseo de estrategias evaluativas propias del sector educacin por la mayor institucionalizacin del grupo objetivo (por ejemplo, menores irregulares en hogares de proteccin y delincuentes adultos en recintos penitenciarios). Debe reconocerse que la tendencia a sistemas abiertos de rehabilitacin social implica el uso de evaluaciones de tipo cuasi experimental, no experimental o iluminativas. En el sector de capacitacin o en el de formacin de microempresas, la evaluacin de impacto se traduce en la medicin del incremento del nivel de ingreso, movilidad ocupacional, incremento de la productividad. Siendo estas mediciones bastante complejas, muchas veces este tipo de evaluacin se substituye por el de retencin de conocimientos o de satisfaccin subjetiva de los beneficiarios. Finalmente, cabe sealar que es muy importante aplicar las estrategias evaluativas al nivel adecuado de institucionalizacin de una intervencin. En la fase de proyectos experimentales o pilotos, slo deben aplicarse aquellas estrategias evaluativas que permitan evaluar, ms que ganancias relativas de la intervencin, altos niveles de impacto social. En la evaluacin deEl Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail [email protected]

44

programas, se aplican estrategias evaluativas ms rigurosas, orientadas a medir impactos especficos, considerando que hay otros programas ya operando y sometidos a evaluaciones anteriores o paralelas. VI.5. Evaluacin ex ante.

La aplicacin de la evaluacin puede diferenciarse en diferentes momentos del desarrollo del proyecto. Se denomina evaluacin ex ante a aquella que se efecta antes de la ejecucin de la iniciativa. Generalmente consiste en una evaluacin de eficiencia, especficamente de costoimpacto, que es bsicamente la comparacin y estimacin de los costos presentes y futuros de las diferentes alternativas y sus posibles impactos Sin embargo, en la evaluacin ex ante pueden haber tcnicas cualitativas como los grupos Delphi. En este caso la evaluacin esta orientada a prever los impactos que se generaran por la ejecucin de programas pblicos de impacto multisectorial o ambiental, como la construccin de carreteras o cualquier obra de infraestructura. El procedimiento consiste en entrevistar a un grupo de personas calificadas en relacin a los impactos posibles, asignando un puntaje a cada impacto. Se uti

formul. y evaluación de proyectos sociales. apuntes de clase-f. salamanca(65)

Documents