desco (2007) evaluación de proyectos de desarrollo local

7/29/2019 DESCO (2007) Evaluacin de proyectos de desarrollo local

1/152

Primeraparte:P

royectos,evaluacinydesarrollolocal

Evaluacin de proyectos de desarrollo local.Enoues, todos y procediientos


2/152


3/152

Primeraparte:P


Contenido

Introduccin 9

Primera parte

Proyectos, evaluacin y desarrollo local

1. Los proyectos como espacios de experimentaciny produccin de conocimientos 17

2. La evaluacin: deniciones, enoques y roles 183. Los discursos sobre el desarrollo y los proyectos 26

Segunda parte

La construccin del objeto de la evaluacin

1. El objeto de evaluacin 33

2. Los indicadores 37

3. La matriz de evaluacin 43Tercera parte

Herramientas para la evaluacin

1. Los mtodos en evaluacin 49

2. Las tcnicas y los instrumentos 56

3. Las muestras poblacionales 74

4. Los diseos de comparacin 81


4/152

Evaluacindeproyectosdedesarrollo

local

Cuarta parte

El proceso de evaluacin

1. El diseo del plan de evaluacin 91

2. El trabajo de campo 103

3. El anlisis de los hechos 111

4. La comunicacin de resultados 119

Anexos

Anexo 1

El inorme de evaluacin 125Anexo 2

Organizacin e implementacin de la evaluacin 133

Referencias bibliogrcas y documentales 153


5/152

Introduccin

INTRODUCCIN

Este libro recupera parte de lo ya escrito y dicho sobre la evaluacin endierentes textos y espacios de reexin y de dilogo. Si se nos preguntasobre su aporte diramos que, sumada a la convencional y necesaria pre-sentacin de argumentos conceptuales y herramientas metodolgicas quesustenten cmo hacer evaluacin quiz incorporando nasis y estilosde alguna manera particulares, su valor est en juntar en una mismapropuesta cuatro propsitos de cambio para la evaluacin, que si biense encuentran an en proceso de consolidacin, tienen una presenciaemergente en la reexin actual sobre el tema. Estos propsitos son lossiguientes:

ransitar de una evaluacin centrada en la observacin de actividades(qu y cunto se ha hecho), a una que pone nasis en la observacindel cambio (qu ha cambiado con la intervencin).

ransitar de una evaluacin entendida como un servicio externo alos proyectos a cargo de especialistas tambin externos, a una con-cebida como una experiencia participativa, basada en la conanzay la corresponsabilidad en el manejo de los procesos, la emisin dejuicios y la toma de decisiones.

ransitar de una evaluacin operada como mecanismo de control yenocada en la observacin de deectos, a una entendida y organizadacomo espacio de aprendizaje y de desarrollo de capacidades.


6/152

0


local.Enfoques,mtodosyprocedim

ientos

ransitar de una idea de la evaluacin como prctica instrumentalneutra (libre de valores), a entenderla como una prctica intencional,

cargada de ideologa y utopa, que no se limita a la vericacin delcambio sino que apuesta a acilitarlo, haciendo jugar concepcionese intereses particulares.

El reto consiste en acilitar esos trnsitos, de modo que sea posiblela construccin de un discurso novedoso y consensuado. Creemos quela insistencia en poner sobre la mesa de debate estos temas es esencial,porque de ello depender, en gran parte, el tipo de evaluacin que se

haga, incluyendo los resultados que se pueda obtener y el uso que se lespueda dar.

Utilidad y potenciales usuarios

El libro presenta una propuesta eclctica y pragmtica. Recoge herra-mientas tericas y metodolgicas de distintas uentes: enoque sistmico,teora crtica, investigacin accin participativa, educacin popular, etc.

y, sin tomar opcin, propone recomendaciones y guas abiertas paraque sea el usuario quien dena su propia ruta de trabajo. Sin embargo,nuestro compromiso es abierto y denido con entregarle a la poblacinsobre todo a la ms pobre y vulnerable herramientas para desarrollarsus capacidades, mejorar sus condiciones de existencia y la calidad desu participacin en las decisiones que involucran el mejoramiento de suentorno. Creemos que es bastante ms til ensear a pensar metodol-

gicamente que transerir una metodologa. Estamos convencidos que laparticipacin y la responsabilidad compartida en las tareas del desarrollolocal, exigen mayor autonoma y ms capacidades.

Este libro se ha escrito como una gua abierta para que los actores deldesarrollo evalen sus propias prcticas. No se orece como un mtodoestandarizado y cerrado o como una receta, sino como una propuestaque debe ser experimentada crticamente en cada entorno institucionaly en cada territorio en que se la utilice, para ser reormulada y adaptada

de acuerdo a cada realidad.


7/152

Introduccin

En ese sentido, no servir si se lo quiere utilizar como un manual deprocedimientos para evaluar cualquier tipo de proyecto. Es, ms bien, un

material de apoyo que presenta un anlisis ordenado de las dierentes situa-ciones con las que, de seguro, se enrentar el evaluador, y de los recursoscon los que probablemente contar en cada una para tomar sus propiasdecisiones. Ser la inteligencia y experiencia del usuario la que permitirreconocer entre la gama de herramientas propuestas, aquellas que resultenms apropiadas a la realidad y a la poblacin con las que trabaja.

El libro ha sido escrito para los responsables de ejecutar proyectos

de desarrollo, ya sea desde organizaciones de la sociedad civil o desde elEstado, los promotores del desarrollo y los actores locales de diverso tipo,que cada vez aparecen ms comprometidos con las tareas del desarrollo.ambin es til para los uncionarios de las agencias de cooperacin o -nancieras que apoyan la ejecucin de proyectos, los hacedores de polticasy todos quienes desde el mundo de la academia, u otros espacios, tieneninters en los temas del desarrollo local, los proyectos y su evaluacin.

Organizacin y contenidos

El libro est organizado en cuatro partes y catorce captulos. La prime-ra parte es de corte conceptual, mientras que las restantes abordan losprocedimientos bsicos de la evaluacin. Los temas y contenidos sonlos siguientes.

La primera parte, proyectos, evaluacin y desarrollo local, presentaalgunos conceptos y principios sobre los proyectos de desarrollo y la eva-

luacin, y expone los enoques que orman parte de nuestra propuesta.Seguidamente, reexiona sobre los vnculos entre el desarrollo local, losproyectos y la prctica de promocin del desarrollo.

La segunda parte, construccin del objeto de evaluacin, presentael proceso de identicacin de dimensiones, preguntas e indicadores,que responde a la pregunta clave qu vamos a evaluar? Adicionalmente,propone un ormato de matriz que permite presentar de maneralgica y ordenada el modelo de evaluacin elegido con sus distintoscomponentes.


8/152


local.Enfoques,mtodosyprocedim

ientos

La tercera parte, herramientas para la evaluacin, tiene comopropsito presentar un abanico de herramientas de uso recurrente en

experiencias de evaluacin con enoque participativo. En ese marco,compara los mtodos cuantitativo y cualitativo, y expone el potencialy las limitaciones de un grupo de tcnicas e instrumentos que se puedeutilizar en este tipo de evaluaciones. ambin presenta los undamentosy procedimientos de distintos tipos de diseos para trabajar con muestrasy con estrategias de comparacin.

Por ltimo, en la cuarta parte, el proceso de evaluacin, se expone de

manera progresiva los distintos momentos de una evaluacin. Se empiezapor el diseo del plan de evaluacin, para continuar con el trabajo decampo, el anlisis de los hechos y la comunicacin de resultados. Cadacaptulo es trabajado en simultneo desde el plano conceptual, el manejode procedimientos y la ejemplicacin.

Algunos agradeciientos

Como bien dice Saville Kushner, la manera que tenemos de publicarlibros otorga una importancia exagerada a los autores individuales ysoslaya la participacin de las comunidades de reexin (comunidadesacadmicas crticas, las llama l). Gran parte quiz la mayora de lasideas, argumentos y enoques sobre la evaluacin que aparecen en ellibro, han sido expuestos antes o se estn trabajando en distintas co-munidades de reexin. Nuestro aporte se limita a organizar estas ideasde manera coherente, para que el texto resulte amigable, interesante y

til. Esperamos que esto sea as. Es ms, creemos que todo mrito quepudiera tener el libro radica en nuestra habilidad de haber descubiertogente con ideas nuevas y estimulantes con quienes desarrollar nuestrospropios argumentos, en las oportunidades que hemos tenido de participaren distintas comunidades de reexin.

Los autores hemos tenido la suerte de trabajar en dierentes escena-rios y experiencias de evaluacin en los ltimos diez aos, algunas vecescoincidiendo en marcos institucionales y temticos, otras tomando rutasdistintas. Pero siempre compartiendo la idea que la evaluacin es necesa-


9/152

Introduccin

riamente una prctica participativa y orientada al aprendizaje. odas estasexperiencias han sido volcadas en el desarrollo del Programa de Formacin

en Evaluacin que desco ha venido ejecutando en los ltimos dos aoscon la participacin de tcnicos de proyectos en Bolivia, Ecuador y Per,en el marco de la Iniciativa de Conjuntos Integrados de Proyectos quela Fundacin W. K. Kellogg promueve en Amrica Latina. Este libroresume muchas de las experiencias tenidas en esos dos aos.

Nuestro ms sincero agradecimiento a todos y cada uno de los parti-cipantes del programa, que con ideas rescas tradas desde distintas reali-

dades nos han enseado nuevas maneras de entender y hacer evaluacin.Dems est decir que lo orecido es poco si hacemos la comparacincon lo recibido. Nuestro agradecimiento tambin a los docentes delprograma, pues todos aportaron con su motivacin, sus conocimientosy su experiencia. Finalmente, un especial agradecimiento a la FundacinW. K. Kellogg y a sus directivos en Amrica Latina, por la conanza yla oportunidad de ser parte de esta experiencia.


10/152


local


11/152

Primeraparte:P


PrimeraParte

PROYECTOS, EVALUACIN Y DESARROLLO LOCAL


12/152


local


13/152

Primeraparte:P


1. LOS PROYECTOS COmO ESPACIOS DE ExPERImENTACINY PRODUCCIN DE CONOCImIENTOS

Entendemos a los proyectos de desarrollo como propuestas de transor-macin que, partiendo de una determinada concepcin del cambio social,intervienen en mbitos o dimensiones especcas de la realidad paramejorarla y, con ello, beneciar directa o indirectamente a poblacionesque por lo general pueden ser ubicadas territorialmente.

Una caracterstica bsica de los proyectos radica en el hecho de re-erirse a un mbito mnimo de accin para el cual se disean objetivos,resultados y plazos muy precisos. La idea es reproducir en pequea escalaciertas condiciones que permitan, a la vez de paliar el deterioro en lacalidad de vida de la poblacin con la que se trabaja, experimentar conestrategias de intervencin y producir conocimiento. En otras palabras,los proyectos son conjuntos de hiptesis de trabajo articuladas entre s ycomplementarias unas con otras que denen un modelo de accin.

Al respecto, el signicado de modelo que se tiene en ciencia ytecnologa resulta pertinente. Se lo entiende como una construccincuyo propsito es reproducir, por lo menos de manera aproximada, elcomportamiento de un objeto cuya dinmica no puede ser provocadadirectamente. Se espera que a travs de la experimentacin (simulacin)los modelos produzcan un conocimiento til para mejorar el compor-tamiento de los objetos que representan o para prever sus eectos nodeseados (Von Glaserseld, 1995).

De una denicin como esta podemos extraer tres aspectos queresultan pertinentes para el entendimiento de los proyectos:


14/152


local

Los modelos como los proyectos no son los hechos (aspectos odimensiones de la realidad), slo pretenden representar uno o varios

hechos relacionados y se construyen para acilitar su comprensin. Como construcciones del conocimiento son siempre acercamientos

particulares al entendimiento de los hechos, entre otros acercamientosposibles.

Sus propsitos no se limitan a la comprensin de los hechos, sinopersiguen la produccin de un conocimiento adecuado para orientarel diseo de acciones de cambio, prever cambios e, incluso, producir

cambios en sentidos deseables.Esta denicin resulta especialmente aplicable al campo de los

proyectos si entendemos que sus propsitos no pueden limitarse a losresultados que progresivamente se obtiene con la ejecucin.

Los propsitos principales de los proyectos no pasan por las mejoras,grandes o pequeas, que pudieran experimentar las poblaciones con lasque trabajan, aunque esto es ciertamente importante. ienen que ver ms

bien con la calidad y la consistencia del conocimiento que las experienciascomo tales pueden producir, y con el potencial de estos conocimientospara ser replicados en otros contextos o para undamentar campaasde incidencia en la estructuracin de polticas pblicas avorables aldesarrollo local.

2. LA EVALUACIN: DEfINICIONES, ENfOqUES Y ROLES

La evaluacin es un proceso sistemtico de anlisis y reexin sobre laaccin que se produce en el marco de los proyectos o experiencias dedesarrollo similares que, en trminos generales, persigue los siguientespropsitos:

Valorar si los cambios producidos por las acciones de los proyectosson consistentes con lo previsto, en sentido y en dimensin. Lo quetambin supone ver si como resultado de esas acciones han emergido

cambios no previstos y si son o no avorables a lo que se busca.


15/152

Primeraparte:P


Valorar si las acciones ejecutadas (estrategia del proyecto) son las ade-cuadas para producir los cambios deseados o si es necesario ajustarlas

o cambiarlas. Esta valoracin tambin debe incluir al discurso sobreel cambio social que est detrs del proyecto.

Obtener elementos de juicio undamentados para tomar decisionesque permitan ajustar la accin presente y mejorar la accin utura.

Producir aprendizajes tiles para la evaluacin como tal y para mejorarlos procesos de gestin de los proyectos en su conjunto.

Como vemos, la evaluacin concentra su esuerzo de anlisis en elcambio y en las acciones llevadas a cabo para producirlo,1 y para elloutiliza la comparacin. oda evaluacin consiste en comparar lo alcan-zado con la ejecucin de los proyectos con reerentes que se denen enel momento de diseo y en las etapas de inicio de las acciones. Estosreerentes son los llamados iniciales o situacin desde la cual se parte enuna intervencin, y nales, o puntos de llegada para la misma.

El reerente inicial es una valoracin del estado o situacin de la

poblacin objetivo de los proyectos, el contexto en que se ejecutan y losindicadores denidos para su gestin, antes deque la ejecucin empiecea producir cambios. Es un estudio de base cuyos resultados sern com-parados con los resultados de las evaluaciones posteriores.2

El reerente nal est compuesto por los objetivos o resultados espera-dos. Se denen en el proceso de planicacin y traducen las intencionesde cambio que estn detrs de todo proyecto. La idea de estos reerentes

La caracterstica bsica de la evaluacin es su acento en la observacin del cambio,

al grado que si tuvisemos que elegir aquello que la distingue del seguimiento sera pre-

cisamente ese acento. La evaluacin concentra su esfuerzo de anlisis en el cambio y en

las condiciones necesarias para producirlo (qu, cunto y en qu sentidos se cambi, y qu

situaciones facilitaron o limitaron ese proceso). El seguimiento da cuenta slo de las acciones

para establecer niveles de consistencia entre lo hecho y lo programado (qu y cunto se

hizo). Los estudios de base o lneas de base por lo general se hacen durante el primer ao

de ejecucin de los proyectos, una vez que los equipos encargados tienen claridad sobre

la estrategia con que operan, la poblacin objetivo con que trabajan y los usuarios de los

servicios que ofrecen.


16/152

0


local

Estudio debase

Resultadosesperados

EVALUACIN

EVALUACIN

Lgica de la Evaluacin

Referente inicial Referente finalCOMPARACIN

PLANIFICACION

PROYECTO

EJECUCIN

es comparar los resultados que progresivamente se van alcanzando conla ejecucin, con los resultados previstos.

En trminos muy concretos, la evaluacin permite dar cuenta(comu-nicar resultados a otros) ydarse cuenta(producir aprendizajes colectivosdentro del proyecto) de los cambios que se producen, identicar poten-cialidades y limitaciones en la accin, y utilizar los aprendizajes sobre lohecho haya sido acertado o errneo para introducir correcciones.

De la observacin del grco se pueden extraer varias ideas:

La evaluacin no es un estudio transversal, hecho en un momentonico con el propsito de otograaruna realidad. Consiste msbien en una serie de estudios longitudinales con una lgica decomparacin.

La evaluacin no se limita a la valoracin de lo acontecido en pro-yectos cuyas acciones ya concluyeron (estudio ex post acto), como si


17/152

Primeraparte:P


uese una tarea distinta a la gestin, hecha por uera y despus de lagestin. Por el contrario, es un elemento constitutivo e inseparable

de la gestin, que acompaa y ortalece todo el proceso. La evaluacin, a dierencia del seguimiento que es literalmente perma-

nente, privilegia momentos continuos que se estima son los necesariospara que la ejecucin de los proyectos produzca cambios. La observa-cin del cambio tiene un acento en sus orientaciones al impacto.

Como sostiene Halpern (1999), la evaluacin debe ser parte de laracionalidad de todo proyecto destinado a cambiar una realidad, desde

su inicio hasta ms all de su culminacin, desde las ideas iniciales queguan su diseo hasta el momento en que es necesario reexionar sobresus eectos y las consecuencias deseadas y no deseadas de los procesospuestos en marcha.

Enoues de la evaluacin

Sumado al nasis puesto en la observacin del cambio (cunto se

ha hecho?, qu sentidos ha tomado lo hecho?), nuestra propuesta deevaluacin incluye tres enoques que denen integralmente el tipo devnculos de los proyectos con sus usuarios y otros actores locales, las ma-neras de organizar los procesos de evaluacin y los mtodos adecuadospara llevarlos a cabo.

Enfoque en la participacin

Una evaluacin participativa supone dos cosas: primero, que el pro-ceso involucre a los usuarios de los proyectos y otros actores localesimportantes; y, segundo, que este compromiso vaya ms all del rol deinormantes para pasar al de actores que participan tomando decisionesen los dierentes momentos del proceso (qu y cmo observar con laevaluacin, cmo recolectar, procesar y analizar los datos necesarios, ycmo utilizar los resultados obtenidos).


18/152


local

Se trata de un proceso llevado a cabo por un colectivo de autorre-exin que mira su propia prctica para mejorarla, en una dinmica no

exenta de complejidades. Es de esperar que las personas concurran alproceso con miradas e intereses distintos y que de ello resulten posicio-nes diversas y potencialmente conictivas. Pero es de esperar tambin,que cuando se logra consenso respecto de algn tema, el hecho reviertaortaleciendo la viabilidad y sostenibilidad de los proyectos.

Un tema clave tiene que ver con la capacidad que el equipo encargadode la evaluacin demuestre para integrar a otros (directivos y tcnicos de

los proyectos, usuarios y otros actores locales) en los procesos, sabiendoque cada uno de esos actores portan racionalidades e intereses distintos.Es precisamente en la integracin de diversas perspectivas que la evalua-cin participativa logra ventajas comparativas respecto de los modelosms convencionales.

No hay que olvidar que los proyectos son prcticas sociales or-neas que intentan transormar otras prcticas sociales locales, que porlo general estn ancladas en el imaginario colectivo de la gente. oda

intervencin de desarrollo ingresa a un espacio local institucional yculturalmente denido con un conjunto de valores instrumentales di-undidos como medios para mejorar la calidad de vida de la gente, querequieren sujetarse a un examen crtico sobre el cumplimiento de esospropsitos tal y como las culturas locales los entienden. Esa es la nicaruta que asegura una internalizacin real de esos valores por los usuariosy otros actores locales.

Los proyectos y los paquetes tecnolgicos que por lo generalproponen no pueden ser valorados de manera adecuada y comprensivasi los valores culturales aectados por ellos (prcticas de distinta naturalezay que se desarrollan en distintos mbitos de lo local) se omiten o se tratande un modo puramente instrumental (como simples medios, ayudas uobstculos para alcanzar las metas del desarrollo). La participacin creacondiciones para que los actores locales se involucren en los procesosincorporando sus intereses, valores y valoraciones desde una perspectiva

intercultural.


19/152

Primeraparte:P


Entonces, consideramos que la participacin no slo es un enoque,sino una caracterstica y una apuesta que dene nuestra propuesta de

evaluacin como tal, y que, en cierta medida, dene el sentido de losotros enoques que se maneja.

Enfoque en el aprendizaje

La propuesta concibe a los procesos de evaluacin como procesos deaprendizaje,en la medida que los involucrados adquieren capacidadespara el anlisis, la reexin, la negociacin y la toma de decisiones con-

certadas en el contexto de la prctica, a la vez que se hacen ms concientesde su realidad, sus posibilidades y sus perspectivas de cambio.

Este nasis en una mirada crtica sobre la accin en el marco de losproyectos es uncional no slo para garantizar que se est avanzando haciael logro de los cambios previstos, privilegiando las orientaciones haciael impacto, sino para aprender cmo hacer mejor las cosas (mejorar lagestin), y aprender tambin del proceso de evaluacin como tal.

Se trata de promover el cambio de las personas involucradas en laevaluacin como condicin previa del cambio en las instituciones y losprocesos. Se persigue un proceso ormativo por el cual los usuarios delos proyectos y otros actores locales no slo adquieren capacidades, sinoy undamentalmente desarrollan actitudes vinculadas al uso sistem-tico de la inormacin y la reexin crtica colectiva como herramientaspara la toma de decisiones y el mejoramiento permanente de sus propiasprcticas.

La idea es convertir al actor local en usuario y productor de cono-cimiento. Slo trabajando con este enoque podremos esperar que ellosreexionen sobre los problemas de su propia prctica y los enrentenhaciendo jugar sus propias concepciones y sus propios intereses.

Sumado al aprendizaje individual y colectivo que produce el hechode participar en un proceso de evaluacin, otro resultado importantees el aprendizaje institucional a nivel del proyecto que se produce enel dilogo permanente entre evaluacin y planicacin, y que entregainormacin y otros insumos para mejorar el proceso de gestin en su


20/152


local

conjunto. oda experiencia de evaluacin participativa, es decir, hechadesde adentro, tiende a instalar capacidades y actitudes avorables al de-

sarrollo de una cultura organizacional evaluativa.

Enfoque en el uso de los resultados

Un principio de la evaluacin enocada en el uso es que los usuariosprevistos sern proclives a apropiarse y a usar sus resultados, si entiendenel proceso que sigui su ejecucin y si los hallazgos que se obtuvieron lesresultan relevantes, situacin que es posible si dichos usuarios participan

activamente del proceso (Patton, 2004). Una evaluacin enocada en eluso es necesariamente una evaluacin participativa.

Uno de los aportes ms signicativos de este enoque en la ltimadcada ha sido el uso del proceso de evaluacin como tal (Patton, 1997).oda evaluacin participativa produce dos tipos de resultados: los hallaz-gos mismos que son comunes a todo tipo de evaluacin y los aprendizajesindividuales y colectivos que se generan por el hecho de participar en

procesos de reexin desde una perspectiva evaluativa.El uso de los hallazgos se vincula estrechamente con los prop-sitos de cada evaluacin: establecer un valor para los indicadores conque opera un proyecto, para contar con una masa de inormacin quepermita comparar distintos momentos de la ejecucin, para luego, deser necesario, revisar y ajustar los resultados previstos (logros, eectos eimpactos) y las estrategias de intervencin.

El uso de los aprendizajestiene que ver con aprovechar los cambios

en capacidades para la reexin y el anlisis, en actitudes y conductas,en prcticas y procedimientos, que experimenta la gente por el hechode participar en procesos de evaluacin. Estos cambios tambin semaniestan en la cultura organizacional de los proyectos y en la insti-tucionalidad local.

Como es lgico deducir, el uso real de los resultados implicaexibilidad en la implementacin de las acciones necesarias para que elproyecto y los actores locales incorporen las recomendaciones, diundanlos aprendizajes e institucionalicen los cambios.


21/152

Primeraparte:P


Rol de la evaluacin en los proyectos y el desarrollo local

Los resultados que producen las evaluaciones, cuando son adecuadamentediundidos y utilizados, tienen eectos que, por lo general, exceden loslmites de los proyectos individuales. Una buena evaluacin produce in-ormacin til para otros proyectos en la zona de intervencin o proyectossimilares en otros territorios, para tomadores de decisiones y hacedoresde poltica, y en general para toda organizacin territorial involucradacon las acciones del desarrollo local.

Esta primera idea puede ser complementada por otra, que es ms bien

una hiptesis de trabajo: una experiencia de evaluacin, en la medidaque involucre a diversos actores locales, ampliar sus eectos de cara a lospropsitos del desarrollo local. Esta hiptesis se sustenta en la evidenciade que toda experiencia de evaluacin desarrolla aprendizajes, y que laparticipacin crea condiciones para que el aprendizaje transite de unplano individual a otro colectivo.

Algunos de los resultados de las experiencias de evaluacin quetrascienden el marco de los proyectos, tienen que ver con los siguientestemas:

Desarrollo de capacidades en ormas de reexionar evaluativamen-te, que suponen el uso adecuado de inormacin, la ponderacinde evidencias, la extraccin de conclusiones y la emisin de juiciosrespetando otras opiniones. El uso de estas capacidades trasciendelos propsitos de la evaluacin para insertarse en cualquiera de los

procesos de toma de decisiones a nivel local. Desarrollo de capacidades para la concertacin, el logro de acuerdos

y consensos, y el manejo de conictos.

Mejoras en la calidad del dilogo pblico, que se maniesta en es-cenarios locales y regionales, y en otros mbitos institucionales dedeliberacin de polticas pblicas.

Apropiacin social de un stockde inormacin conable y conoci-

miento, til para el desarrollo de campaas de incidencia en polticaspblicas y de vigilancia social.


22/152


local

3. LOS DISCURSOS SOBRE EL DESARROLLO Y LOS PROYECTOS

En la ltima dcada es posible constatar un proceso de construccin deacuerdos conceptuales en torno al desarrollo local entre las institucionesque se dedican a promoverlo como discurso y como prctica. El desarrollolocal se ha convertido en una especie de ideologa comn que atraviesaotros discursos sobre el cambio social que no ha experimentado mayorevolucin, a no ser los necesarios ajustes y adaptaciones al proceso socio-poltico3 o el uso de ciertas modas conceptuales.4

Estos acuerdos son explcitos al menos en cuatro puntos: El desarrollo local no es sinnimo de desarrollo pequeo. No se limita

a territorios acotados (cuencas, valles, provincias u otro tipo de mi-cro-regin), opera con territorios en escalas pertinentes pueden serregiones grandes y diversas que dependen de los propsitos y de lasacciones que se vaya a ejecutar. ampoco se limita a actividades eco-nmicas marginales, por el contrario, se considera que debe apuntara la conormacin de un aparato productivo, propuesta que incluye

necesariamente a la industria, incluso a aquella tecnolgicamentems desarrollada.

El desarrollo local es una manera nueva y dierente de concebir yhacer desarrollo, que no debe limitarse slo a las acciones y resul-tados de pequeos proyectos locales, por ms eectividad que estospudieran demostrar. Debe ser comprendido como parte sustancial delas estrategias de desarrollo nacional y operado a partir de polticasespeccamente diseadas para superar los actores responsables de

los desequilibrios econmicos, polticos y territoriales que impidenel despliegue de las potencialidades de las sociedades locales.

El desarrollo local excede con mucho sus maniestaciones en loeconmico y productivo, para integrar lo poltico, institucional,

El tema de la descentralizacin aparece en los ltimos aos muy vinculado al desa-

rrollo local, aunque no siempre hay coincidencias sobre el rol que debe jugar cada uno y la

manera como deben articularse. Por ejemplo, el concepto de capital social recrea muchos elementos de los antiguos

conceptos de estructura social, relaciones sociales e institucionalidad.


23/152

Primeraparte:P


cultural y ecolgico. Esta mirada multidimensional es coherentecon la complejidad propia de la realidad nacional y con las

necesidades de intervencin en los espacios locales, al margen de susparticularidades.

En trminos de estrategia se sostiene que para hacer desarrollo locales necesario ortalecer la institucionalidad local y las capacidades dela gente, involucrar a distintos actores sociales en lgicas de coope-racin, negociacin e incidencia, y denir un proyecto comn queintegre los diversos intereses locales. Desde ese punto de vista, las

acciones del desarrollo local juegan en el plano poltico tanto o msque en el plano econmico.5

Claro est que estos conceptos y la manera como se los utiliza paradenir estrategias de intervencin no tienen el ormato ni la complejidadpropia de la ormalizacin acadmica. Son ms bien ideas ms o menoselaboradas y articuladas, an no validadas en suciente nmero de expe-riencias, pero que estn siempre presentes en el discurso explcito de las

instituciones que promueven desarrollo y orman parte de muchos de losdocumentos que producen, incluyendo, por supuesto, los proyectos.

Pero al margen de que estos conceptos sean conocidos y aceptados,al menos entre los directivos y quienes disean proyectos en las institu-ciones que promueven desarrollo, cuando se llega al plano de la eleccinde actores con quienes se busca trabajar y la denicin de estrategias deintervencin, las propuestas empiezan a dierenciarse. Como es lgico,cada una trata de responder a las caractersticas de la poblacin con la que

trabaja o recuperar aprendizajes institucionales de anteriores experienciasde desarrollo, deniendo distintas maneras de hacer. En otros casos, losactores de dierenciacin son bastante ms articiales, simplemente

Un mapeo de 8 ONG y redes europeas proveedoras de ayuda para el desarrollo

en Amrica Latina concluye que el tema prioritario, el ms trabajado y nanciado, es la

participacin poltica (promocin / proteccin de derechos humanos, fortalecimiento de la

sociedad civil, ciudadana, gobernabilidad y participacin local), seguido de los derechos

socioeconmicos y el desarrollo econmico (Biekart, 006).


24/152


local

responden a exigencias de las agencias de cooperacin internacional ennasis temticos, enoques estratgicos o metodologas de trabajo.

Situmonos en un caso tpico: el mercado es una dimensin de usorecurrente como campo de intervencin en los proyectos de desarrollo,tanto en el mbito urbano como y principalmente en el mbito rural.Un primer discurso, con enoque en el mercado, puede sostener que losmercados externos son motores de la transormacin productiva de losterritorios y que resulta estratgico que las intervenciones operen conuna lgica que busque hacer lo necesario para satisacer las demandas del

exterior por los bienes y servicios que el territorio puede producir. Entrminos de estrategia de intervencin, lo visto como coherente de segurosera transerir nanciamiento a los productores para acilitarles condi-ciones y oportunidades, y dejar que ellos decidan por su propia cuentalos pasos a dar para alcanzar, en un plazo razonable, una produccin enescala suciente, un producto estandarizado y costos competitivos, queles permita participar de aquellos mercados externos ms dinmicos. Unsegundo discurso puede partir del principio de que por naturaleza todos

los mercados reales son imperectos y que, por esa razn, es necesariointervenirlos simultneamentepor oertaypor demanda. En este caso, laestrategia de intervencin podra consistir en transerir a los producto-res un paquete tecnolgico duro para ortalecer la vocacin productivalocal, a la vez que se conorma una demanda temporal (lase, articial),sustituyendo a los intermediarios y actuando como garante para la co-locacin de los productos, cuando no recurriendo a la subvencin paraasegurar el proceso. El propsito sera ortalecer la oerta para, en unuturo cercano, poder acceder a mercados dinmicos.

Situaciones similares se producen al trabajar con otras dimensionesque son de uso comn en iniciativas de desarrollo local, entre ellas, capitalproductivo o social, capacidades locales y desarrollo de recursos humanos,gobiernos locales, para citar las ms recurrentes e identicables.

Incluso, proyectos con las mismas estrategias de intervencin, ex-plcitas en sus componentes y metodologas, pueden ir redeniendo las

maneras de operar en el transcurso de la ejecucin, atendiendo a dieren-cias estructurales en la poblacin objetivo o rente a procesos emergentes


25/152

Primeraparte:P


no previstos al inicio de la intervencin, pero que progresivamente vanadquiriendo presencia e inuencia en el territorio. Por ejemplo, si se

considera el omento y ortalecimiento de los tejidos empresariales exis-tentes, las estrategias se irn perlando dependiendo de que el usuariosea un productor articulado a mercados dinmicos o uno que porta unalgica econmica comunitaria y de reproduccin amiliar. Los nasistambin dependern de la importancia relativa de cada lgica productivaen la organizacin del trabajo a nivel territorial.

Por otro lado, diversos estudios han encontrado evidencia respecto

al hecho que lejos de existir una lnea de continuidad entre el discursoy la prctica, lo que hay es un conjunto de desencuentros6. Una cosa esel discurso y la manera como se plasma en el diseo de los proyectos,y otra la prctica real a cargo de los promotores y otros actores localesinvolucrados. Por lo general, quienes elaboran los discursos y diseanlos proyectos no son quienes tienen en sus manos la ejecucin de losmismos. El promotor o el actor local que se vincula al proyecto comoco-ejecutor recurre a su experiencia social previa y analiza los problemas

y la manera de enrentarlos desde su propia perspectiva. Construye unnuevo discurso que corre paralelo al discurso de las instituciones conel que dene la pauta de su trabajo cotidiano.

Los proyectos de desarrollo local muchas veces no muestran unasecuencia lineal entre lo que se debe hacer (discurso), lo que se proponehacer (proyecto) y lo que se hace (prctica de promocin). Operan msbien entre conictos y ajustes continuos que resultan de la propia din-mica de los actores locales en el territorio. Cada proyecto es una pequeahistoria escrita por actores sociales que portan lgicas y provienen deexperiencias distintas.

6 Ruiz Bravo y Bobadilla (99) han encontrado evidencia en ese sentido al hacer un

anlisis de las prcticas de promocin del desarrollo en ONG.


26/152

0


local


27/152

Segundaparte:laco

nstruccindelobjetodelaevaluacin

SegundaParte

LA CONSTRUCCIN DEL OBjETODE LA EVALUACIN


28/152


local


29/152

Segundaparte:laco


1. EL OBjETO DE EVALUACIN

La evaluacin de proyectos de desarrollo consiste, en gran parte, en unejercicio de validacin de aquellas concepciones del cambio social porlas que apostamos para guiar las transormaciones. En ese sentido, todaevaluacin debe responder a interrogantes como las siguientes: qu con-cepciones del cambio social estn detrs del proyecto a evaluar?, cmose maniesta la realidad que se quiere cambiar?, en qu aspectos o di-mensiones?, en cules ha intervenido el proyecto y cmo?, qu cambiosse espera producir?, con qu criterios los vamos a observar? En pocaspalabras, se trata de establecer qu se quiere cambiar, en qu sentidosy con qu herramientas, para luego poder denir qu se va a evaluar,sabiendo que responder estas interrogantes no siempre es sencillo.

Una cosa es lo que aparece escrito en los proyectos y otra las ormasque van adquiriendo en su ejecucin: entre los discursos que orientan ydenen los proyectos y las elaboraciones que guan las prcticas, existe,

por lo general, una brecha. Algunas de las razones de este desencuentrotienen que ver con lo siguiente:

Es comn que los documentos que undamentan los proyectos sloincorporen parcialmente la concepcin del cambio detrs de los mis-mos. La idea o conjunto de ideas que deben impulsar las acciones noaparecen explcitas y, por lo tanto, no sirven como pauta para guiarel trabajo cotidiano.

Los promotores y los actores locales involucrados en la ejecucinno hacen suyo el discurso de las instituciones, ni stas recogen el de


30/152


local

aquellos. Discursos y prcticas no corresponden; incluso, con algunarecuencia, son contradictorios.

La ejecucin de los proyectos lleva a cambios en las estrategias deintervencin, que progresivamente incrementan la distancia entre loque se quera hacer y lo que realmente se hace.

Cada proyecto constituye en s mismo una propuesta de accin conespecicidades y demandas, que se ajusta de acuerdo a las particularesmaneras de interactuar y negociar de los distintos actores involucrados.Entonces, es necesario que los responsables de la evaluacin asuman unapostura de dilogo con los operadores, los usuarios y otros actores localesclave, para revisar lo planicado y, de ser necesario, cambiar o comple-mentar algunos elementos para construir el objeto de evaluacin.

Como es lgico, rente a un mismo proyecto evaluadores distintospodran denir prioridades y acentos en relacin a algunos temas y di-mensiones, llevando a la determinacin de objetos de evaluacin distintos.Un paso crucial tiene que ver con la eleccin de las dimensiones de la

realidad que se pretende observar. oda decisin posterior incluyendola seleccin de indicadores depender de las dimensiones elegidas. Alrespecto Nirenberg, Brawerman y Ruiz (2005) sostienen que:

La determinacin de las dimensiones del modelo es una parte muy creativa

del proceso evaluativo, pues es lo que divide conceptualmente el todo que se

pretende evaluar, en una orma dierente, para encontrar un nuevo sentido

que posibilite otra comprensin y permita la transormacin de la realidad

considerada; eso no puede lograrse eligiendo variables e indicadores sino

con otro nivel de abstraccin, ms global, que abarque el todo mediante

las dimensiones que lo integran.

Y prosiguen:

Ya no se trata slo de acercarnos a los enmenos con variables medibles o

apreciables mediante indicadores; se trata de cul es la concepcin del todo

en sus partes, para entonces interesarnos por cules variables lo representan yexplican. Diciendo lo mismo en otras palabras: para arontar una evaluacin


31/152

Segundaparte:laco


no bastar con elegir los indicadores apropiados, aunque ese constituya

un paso necesario; se requerir tener una concepcin terica acerca del

objeto de la evaluacin y sobre la realidad donde ste se ubica.

El sentido de una evaluacin depender en gran medida de la ma-nera como se conciban las dimensiones que conorman el objeto o, enotras palabras, de los marcos de reerencia desde los que se parta paraconstruir una comprensin propia de aquellas y de este. Esa es una tareaque no puede ser realizada slo por el equipo evaluador, sino en acuer-dos conceptuales con los responsables del proyecto, sus usuarios y otros

actores locales clave. Ellos son quienes saben qu aspectos de la realidadse pretende cambiar y qu se est haciendo con ese propsito.

Por lo general, las dimensiones que orman parte del objeto de eva-luacin corresponden a los componentes o principales lneas de accindel proyecto. A estas se pueden sumar otras que resultan de cambios oprocesos no previstos que emergen durante la ejecucin. A continuacinpresentamos un ejemplo esquemtico de objeto de evaluacin para el casode la Iniciativa de Conjuntos Integrados de Proyectos que promueve laFundacin W. K. Kellogg en Amrica Latina1.

Un conjunto integrado de proyectos tiene como propsitos la in-terrupcin del ciclo de pobreza y el logro de procesos sostenibles dedesarrollo en un territorio determinado. Se parte del supuesto que lacooperacin entre actores locales socios, actuando de manera articulada,es capaz de lograr una respuesta integral, multidimensional e intersectorialpara los problemas de un territorio.

Esta iniciativa opera con la llamadaTeora de cambio, que es una pro-puesta de desarrollo local a largo plazo que gira sobre tres aspectos clave:

Un territorio. Espacio donde se concentran e integran las intervencio-nes y en donde es posible trabajar en torno a una visin de desarrollocomn.

La Fundacin W. K. Kellogg viene apoyando la construccin de estos conjuntos en tres

reas de Latinoamrica y el Caribe, que han sido seleccionadas por su alta concentracin

de pobreza: el sur de Mxico y Centroamrica (incluyendo partes del Caribe), el noreste de

Brasil y las zonas andinas de Bolivia, Ecuador y Per.


32/152


local

Estrategias locales. Lneas de trabajo que apuntan al desarrollo deun conjunto de capacidades locales vinculadas a la calidad de los

recursos humanos (capital humano), la capacidad organizativa y dearticulacin entre los actores locales (capital social) y la capacidad deemprender de los agentes econmicos locales (capital productivo).

Palancas de cambio. nasis en la ejecucin de las estrategias locales:los jvenes y el trabajo en alianzas.

Obeto de evaluacin (diensiones del cabio) en la evaluacin de losConuntos Integrados de Proyectos

DImENSIONES PREGUNTAS

Estrategias locales (u se ace?)

Capital social Cul es la situacin de la institucionalidad local? Cul es el estado de la identidad cultural y territorial? Se han construido acuerdos y consensos entre actores locales?

Capital humano Cul es la situacin de la calidad y equidad en educacin? Cul es la situacin de la calidad y equidad en salud? Cul es nivel de acceso de las familias a la alimentacin?

Capital productivo

Cul es el nivel de ingresos de las familias?

Cul es la disposicin de recursos naturales estratgicos? Con qu infraestructura y equipamiento productivo se cuenta? Cul es el nivel de acceso a insumos? Cul es el nivel de acceso a tecnologas y conocimientos? Cul es el nivel de acceso a crditos? Cul es nivel de acceso a informacin?

Palancas de cabio (co se ace?)

Alianzas interinstitucionales Se han consolidado alianzas interinstitucionales en el territorio?

Liderazgo de los jvenes Cmo se maniesta la capacidad de liderazgo de los jvenes?

Se promociona e implementa espacios de participacin para losjvenes?

Conteto y supuestos

Contexto

Qu cambios en el contexto pueden llevar a reorientar las estrategiasdel proyecto?

Qu nuevas situaciones a nivel de los supuestos pueden limitar ofavorecer el logro de los cambios previstos?

Cabios no previstos

Cambios emergentes

Hay cambios introducidos por el proyecto que hayan sido adoptadospor gente que no pertenece a la poblacin objetivo?

Hay cambios signicativos que han emergido en la zona de inter-vencin sin ser promovidos por nuestras acciones?

Esuea de obeto de evaluacin elaborado en base a docuentos de trabao de la fundacin W. K. Kellogg sobrela Teora de cambio.


33/152

Segundaparte:laco


Como es lgico, estas preguntas an generales, tendran que serdesprendidas en otras ms especcas. El propsito es que preguntas

con un suciente nivel de especicidad y las necesidades de inorma-cin que expresan, sirvan como marco para revisar los indicadoresexistentes, introducir cambios e, incluso, ormular algunos nuevos,de ser necesario.

Es importante tener presente que los objetos de evaluacin denidospara un determinado momento de la evaluacin, no pueden ni debenpermanecer invariables a lo largo de la gestin de los proyectos. Lejos

de ello, deben ser lo sucientemente exibles como para introducir al-gunas modicaciones o agregados que den cuenta de los cambios en loscontextos de aplicacin. Sin embargo, habra que cuidar que tales ajustesno limiten la posibilidad de comparar resultados entre los dierentesmomentos de la evaluacin.

2. LOS INDICADORES2

Los indicadores son un elemento clave en la construccin del objetode evaluacin. Muchas de las dimensiones y preguntas que se utili-zan en evaluacin derivan en indicadores especcos que permitenla observacin de los hechos a los que esas dimensiones y preguntashacen reerencia.

Una operacin importante, que tambin orma parte del proceso deconstruccin del objeto de evaluacin, es la revisin de los indicadoresinscritos en el diseo de los proyectos. Esta revisin debe girar en torno a

interrogantes como las siguientes: en qu medida lo que se hace (prcticareal) corresponde a lo previsto en objetivos (propsitos / resultados) yestrategias (acciones)? De ser as, los indicadores ormulados permitenobservar integralmente los cambios y las acciones previstas?, es necesarioreormularlos, al menos parcialmente?, es necesario complementarloscon la ormulacin de otros indicadores? De no ser as, cules de los

Los contenidos de este captulo han sido trabajados por Gloria Vela en el marco del

Programa de Formacin en Evaluacin ejecutado por desco con el apoyo de la Fundacin

W. K. Kellogg.


34/152


local

indicadores ormulados resultan an pertinentes?, qu nuevos indicadoresse tendra que ormular?, para qu hechos o dimensiones?

Lo que se debe buscar es un nivel de coherencia entre las dimensionespriorizadas para la observacin de los hechos y las preguntas e indicadoresormulados para realizar esa observacin.

Denicin y caractersticas de los indicadores

Los indicadores son variables empricas (directamente observables) yconcretas (acotadas y de menor nivel de abstraccin) que se utilizan

para la observacin indirecta de otras variables o dimensiones msabstractas y generales de las que son parte. Se puede decir, entonces,que son aspectos o caractersticas observables de aquellos hechos quees necesario observar en una evaluacin, dado que orman parte delobjeto de la misma.

En el marco de la evaluacin de proyectos, los indicadores operancomo seales que acilitan la valoracin de los resultados (cambios)

alcanzados y el establecimiento de puntos de reerencia, permitiendo lacomparacin de situaciones a lo largo del tiempo. Desde ese punto devista, sirven como un sistema de alerta temprana para tomar las decisionesnecesarias en el momento justo.

Para asegurarse que los indicadores puedan observar aquello que sedesea observar, y de la manera que se tiene previsto hacerlo, es necesarioormularlos atendiendo las siguientes caractersticas:

Deben ser observables, es decir, hacer reerencia a hechos reales sobrelos que existe inormacin o es posible construirla. Esta caracters-tica tambin se reere al hecho que los indicadores deben permitirel recojo directo de datos sobre s mismos, sin ser desprendidos enotras variables ms especcas.

Deben ser neutros, ormulados sin contener ciras o trminos queexpresen a priorisentido (aumento, disminucin, mejora, etc.) de

La formulacin de indicadores neutros es una propuesta metodolgica desarrollada

por la Fundacin SYNERGIA, ONG colombiana.


35/152

Segundaparte:laco


cambio alguno. Se deben limitar a indicar la presencia o no delaspecto o hecho que se quiere observar. En ese sentido, la valo-

racin es un ejercicio posterior que corresponde al anlisis de losdatos recogidos sobre cada indicador o pregunta ormulada parala evaluacin.

Deben ser precisos, enunciados de tal manera que si distintas personaslos leen entiendan exactamente lo mismo. Para ello, se requiere haberlogrado una buena denicin de aquellas dimensiones o variablesque se desea observar, evitando la inclusin de juicios de valor que se

presten a interpretacin personal. La idea es que distintos operadoreslos puedan utilizar, en distintos momentos y territorios, sin perderel potencial de comparacin.

Deben ser conocidos yconsensuados por todos quienes de una uotra manera estn involucrados en los proyectos y en su evaluacin. Laormulacin participativa es una manera de garantizar conocimiento,consenso y uso de los indicadores.

Si bien todas estas caractersticas son importantes, las dos primerasser observables y neutros, son undamentales. Sin ellas un indicadorno sirve como tal.


36/152

0


local

forulacin de indicadores

Un ejemplo de indicador ormulado con las caractersticas expuestas sera

el siguiente:porcentaje de amilias usuarias del proyecto segn variacin

de su ingreso real. Este indicador hace reerencia a un hecho observable

(ingreso de las amilias) y su enunciado no incluye valoracin (aumento o

disminucin) previa alguna. Es aplicable al universo de amilias previsto

en toda su extensin, sin distinguir entre aquellas que luego del anlisis

aparezcan con ms o menos ingresos.

El mismo indicador pero con otra ormulacin sera el siguiente:por-

centaje de amilias usuarias del proyecto que incrementaron su ingreso real.

Al incluir una valoracin previa (incremento de los ingresos) se pierde

la posibilidad de observar al universo en su conjunto, limitando la ob-

servacin a aquellas amilias que han experimentado un cambio positivo

en sus ingresos. Esta ormulacin es errada.

Una tercera ormulacin an ms errada que la anterior, pero no por

ello menos recuente sera la siguiente: las amilias usuarias del proyectoincrementan en 20% sus ingresos reales. En este caso, no slo se incluye una

valoracin previa (incremento de los ingresos), sino se incluye tambin

un estndar de cumplimiento o meta (en 20%), que limita an ms el

universo de amilias observables slo a aquellas que lograron aumentar

sus ingresos en el porcentaje indicado o ms.

Adaptado de: desco (2006a).

Tipos de indicadores

La complejidad y diversidad de los hechos sociales vinculados aldesarrollo local lleva a que su observacin intento de reejarlos, almenos parcialmente en el marco de una evaluacin requiera del uso dedimensiones y variables de distinta naturaleza, y de los indicadores ade-

cuados para operar con ellas. Nos reerimos a indicadores que permitanobservar las magnitudes o recuencias, o las cualidades u otros aspectos


37/152

Segundaparte:laco


intangibles con que se maniestan los hechos, es decir, indicadores paraobservar cantidades o cualidades en los hechos.

Por el tipo de hechos que pueden observar, los indicadores se clasicanen: Indicadores cuantitativos, que permiten observar hechos cuya

maniestacin es una cantidad continua que puede ser expresada endistintos tipos de nmeros (recuencias, porcentajes, tendencias, etc.).Ejemplo:porcentaje de amilias usuarias del proyecto segn variacinde su ingreso real.

Indicadores cualitativos, que permiten observar hechos cuya mani-estacin es una o varias cualidades, que por lo general se presentande manera particular en cada unidad de observacin. Su expresines siempre nominal (tipos, ormas, etc.) y sus valores mutuamenteexcluyentes. Ejemplo: tipos de sistemas tecnolgicoproductivos porregin.

Indicadores mixtos4, aquellos que permiten observar los hechos desdedos perspectivas: establecer cambios cualitativos en ellos y determi-nar en cuntas unidades de observacin se presentan esos cambios.Ejemplo: nmero de unidades de produccin campesina por regin, segngrado de mejoramiento tecnolgico en trminos de: aplican tecnologas

agrcolas convencionales; aplican tecnologas para proteccin de suelos;

aplican tecnologas para optimizar uso del agua; aplican tecnologas que

preservan la biodiversidad de la zona.

Relacin de los indicadores con los niveles de cabio

odo proyecto bien ormulado incorpora objetivos y resultados quehacen reerencia a los cambios que se espera alcanzar con su ejecuciny a la articulacin entre unos y otros, segn niveles. Estos sistemas decambio aparecen con mucha claridad en aquellos proyectos que utilizanla metodologa del marco lgico para su diseo y evaluacin.

La formulacin de indicadores mixtos es una propuesta metodolgica desarrollada

por la Fundacin SYNERGIA, ONG colombiana.


38/152


local

A continuacin, un grco que expresa los vnculos entre los nivelesdel cambio y los indicadores.

CADENA DE CAmBIOS

fIN

PROPSITO

RESULTADOS

INDICADORES

3er nivelImPACTO

Indirecto(Cabio sostenible)*

Directo(Aplicacin)**

2do nivel

EfECTOS

1er nivel

PROCESO Y PRODUCTO

* Cambio sostenible. Cambio profundo con posibilidades de permanecer en el tiempo.** Aplicacin. Uso sistemtico de los cambios / efectos.Adaptado de: desco (2006a).

ACTIVIDADES

La denicin puntual que corresponde a cada nivel de indicador es

la siguiente: Indicador de producto, que observa los productos sicos (bienes yservicios) obtenidos con las actividades y los logros primarios quesurgen de la aplicacin de esos productos.

Indicador de efecto, que observan cambios de nivel intermedio(que subsumen a los cambios de menor nivel) que se alcanzan en elmediano plazo, a los que llamamos eectos.

Indicador de impacto, que permiten valorar los resultados nales

(propsitos y n) del proyecto, que se alcanzan a largo plazo y a losque denominamos impactos.


39/152

Segundaparte:laco


Dimensin /Cambio

Preguntasorientadoras

IndicadoresTcnicas /

Instrumentos

Informantes /Fuentes

Lgica Horizontal

Son coherentes

con ...

Cubren las

necesidades deinformacin de ...

Portan informacin

necesaria para ...

Son adecuados para

operar ...

Los indicadores de producto se utilizan en el seguimiento de las ac-ciones de los proyectos. Los indicadores de eecto e impacto se usan en

evaluacin para la valoracin de los cambios producidos.

3. LA mATRIZ DE EVALUACIN

La matriz de evaluacin es una ayuda grca que permite una presenta-cin resumida de los principales elementos de una evaluacin. Muchosde esos elementos ya aparecen de manera explcita y ordenada en aquellosproyectos que utilizan la metodologa del marco lgico, pero tambin

estn presentes quiz de manera menos explcita en los proyectos queutilizan otros ormatos para su diseo.

La idea de la matriz es que al vaciar los elementos clave para la eva-luacin de los proyectos en ella, se pueda tener un panorama visual dela integracin de dos lgicas complementarias que son importantes: lalgica horizontal y la vertical.

Con lalgica de coherencia horizontal, se trata de ver el nivel de cohe-

rencia de las preguntas orientadoras con relacin a las dimensiones / cambios,de los indicadores con respecto a las preguntas y a las anteriores, y la delresto de elementos a partir de la misma lgica. Se trata de establecer sipodemos observar aquello que queremos observar.


40/152


local

Lalgica de coherencia vertical, por otro lado, ocupa slo la co-lumna hacia la izquierda de la matriz. iene el propsito de mostrar la

relacin causal entre los cambios de distinto nivel, y ver si la inormacinrecogida para los niveles ms bajos sirve como insumo para la observaciny el anlisis de los otros niveles.

Logro

Impacto

EfectoSi

Si

Y otros factoresexternos

Lgica Vertical

Entonces

Entonces


41/152

Segundaparte:laco


A continuacin presentamos un ejemplo de matriz bsica, con unormato convencional.

matriz de evaluacin

DImENSIN /

CAmBIO *

PREGUNTAS

ORIENTADORASINDICADORES

INfORmANTES /

fUENTES

TCNICAS /

INSTRUmENTOS

PARTICIPANTES

EN EL ANLISIS **

Dimensin /cambio

Dimensin /cambio

Dimensin /cambio

* Cadena de cambios: impacto, propsito y resultados.** Responsables de la evaluacin, equipo del proyecto, usuarios y actores locales vinculados directamente con laejecucin.Adaptada de: desco (2006b).


42/152


local


43/152

Tercerap

arte:Herramientasparalaevaluacin

terceraParte

hERRAmIENTAS PARA LA EVALUACIN


44/152


45/152

Tercerap


1. LOS mTODOS EN EVALUACIN

Diversidad social y diversidad etodolgica

Las concepciones sobre cmo hacer desarrollo local se encuentran enreormulacin permanente desde hace ms de dos dcadas. Algunos delos rasgos caractersticos del cambio tienen que ver con la diversidad dembitos en los que se busca intervenir y la creciente importancia dadaal desarrollo de capitales en el campo de lo social y lo humano.

Este proceso de reormulacin permanente ha llevado a reconocerla existencia de actores sociales nuevos, como las organizaciones de base,la empresa o los jvenes, que por lo general no eran tomados en cuentacuando los proyectos convencionales se limitaban a los productores po-bres urbanos o rurales. ambin ha llevado a la promocin de cambiosen mbitos que antes no eran considerados prioritarios: cambios en lasinstituciones y en las capacidades de las mismas para asociarse, negociary generar propuestas; as como cambios en las actitudes, los valores ylas motivaciones de la gente, son considerados estratgicos y se sumana los tradicionales cambios en inraestructura, servicios y capacidadestcnico-productivas individuales.

Como es lgico deducir, para hacer evaluacin de cambios en mbitostan diversos como aquellos que se producen en la capitalizacin (inraes-tructura, equipos, crditos, etc.), en las prcticas (tecnolgicas, organizati-vas, de consumo, etc.) y los cambios ms proundos que corresponden al

mundo de vida de la gente (inclusin, actitudes, roles, etc.), es necesariomirar las cosas desde distintas perspectivas, privilegiando la perspectiva


46/152

0


local

de la gente usuaria de los proyectos. Es undamental tener presente queparte de estos cambios proundos tienen que ver con la percepcin que

la gente tiene de s misma y de su entorno, y con su reconocimiento delos cambios como tales. No es suciente la observacin desde uera, esnecesario generar conocimiento y conciencia con la gente, es decir, operardesde adentro del mundo de la gente que vive los cambios.

Una prctica de la evaluacin que intente dar cuenta de las dierentesmaneras en que la realidad social se modica en respuesta a un proyectode desarrollo y que, adicionalmente, busque indagar sobre las percepcio-

nes de los actores involucrados, debe estar preparada para hallar cambiosque no se dejan aprehender por el slo uso de la medicin. Hablamosde una prctica de la evaluacin que emplea diversos procedimientos,combinando y complementando, de manera consistente, aportes dedistintos mtodos.

mtodos cuantitativo y cualitativo

Si bien existen distintas deniciones sobre los mtodos en evaluacin einvestigacin social en general, tambin hay acuerdos explcitos que sereeren a cierta clase de procedimientos, tcnicas e instrumentos parala observacin de hechos y la recoleccin de datos, y a ciertas ormas detratamiento de los mismos.

Los mtodos a emplear en una evaluacin tienen una relacin muyestrecha con el objeto de la misma y, en trminos ms concretos, conlos indicadores que lo conorman. En ese sentido, el evaluador puede

tomar la decisin de utilizar uno u otro mtodo, o utilizarlos de maneracombinada, dependiendo de los indicadores que se hayan elegido paraobservar los cambios: miden el cambio?, lo valoran?, lo intentan com-prender? Esta decisin tambin depender, en parte, de los inormantesque se elija (pueden ser muy diversos y con dierentes perspectivas) y deltipo de datos que se busque obtener de ellos (datos sobre rendimientos,percepciones, etc.).


47/152

Tercerap


Mtodo cuantitativo

El mtodo cuantitativo parte del supuesto que, en potencia, todos loshechos sociales son reductibles a datos que se expresan como cantidades,es decir, los hechos son cuanticables. Privilegia la medicin (recuencias,dimensiones, tasas, etc.) y la comparacin, apoyndose en los undamen-tos y procedimientos de la estadstica.

Caractersticas del mtodo cuantitativo

Sita su inters principal en la explicacin (anlisis como proceso deestablecimiento de causas y eectos), la prediccin y el control de los

cambios.

Se limita a enmenos directamente observables y susceptibles de

medicin (incrementos en la produccin, en los ingresos, en las

capacidades tcnico-productivas, etc.).

Utiliza tcnicas estadsticas para la denicin de muestras, anlisis

de datos y generalizacin de resultados. Utiliza instrumentos estructurados y estandarizados como encuestas,

escalas o pruebas.

Utiliza diseos de comparacin con grupos de control, denidos en

detalle y rgidos en el proceso, como los diseos experimentales.

Privilegia la observacin de resultados, principalmente los tangibles

(en inraestructura, produccin, ingresos, etc.).

Mtodo cualitativo

Se orienta a la comprensin del sentido que los actores le dan a sus propiasacciones, es decir, trabaja con percepciones. Sus procedimientos tpicossuponen que los actores describan e interpreten experiencias vividas,inormacin sobre la cual los evaluadores proponen una interpretacinholstica (reconstruccin de la experiencia) que le da sentido a las diversasmiradas particulares.


48/152


local

Caractersticas del mtodo cualitativo

Sita su inters en la descripcin, comprensin e interpretacin de

los signicados que los sujetos le dan a sus propias acciones.

Evita la ragmentacin. Estudia los hechos dentro de una totalidad

(visin holstica) y desde mltiples perspectivas.

No busca la generalizacin de resultados, en la medida que considera

que estos estn limitados a un tiempo y un espacio. Desarrolla un

conocimiento ideogrco.

Utiliza tcnicas de observacin participante y anlisis en proundidad,

desde una perspectiva subjetiva y particular.

Utiliza instrumentos poco o no estructurados y de denicin libre

como guas de observacin, entrevistas o grupos de discusin.

Privilegia la observacin de procesos (cambios en patrones de

interaccin, en actitudes, en percepciones) y de resultados de

naturaleza intangible.

El siguiente es un cuadro comparativo de ambos mtodos, a partirde tres dimensiones de comparacin.

DImENSIONESmTODOS

Cuantitativo Cualitativo

Indicadores delcambio

Aspectos del cambio que son

observables, susceptibles de me-dicin y de anlisis estadstico

Aspectos del cambio que se

hacen visibles slo desde laspercepciones o valoraciones delos actores

Tcnicas

Tcnicas estadsticas para la de-nicin de muestras, el anlisis

de datos y la generalizacin deresultados

Tcnicas de observacin partici-pante y anlisis en profundidaddesde mltiples perspectivas

Instrumentos

Instrumentos estructurados y deaplicacin estandarizada comoencuestas, escalas o pruebas

Instrumentos poco o no estruc-turados como guas de obser-vacin, entrevistas o grupos de

discusin


49/152

Tercerap


El debate epistemolgico cuantitativo / cualitativo tiene ms de unsiglo en la investigacin social, tiempo durante el cual ha pasado por

distintas etapas que privilegiaban uno u otro mtodo o que proponan sucomplementariedad para la observacin de hechos que por su compleji-dad (compuestos de mltiples dimensiones) suponan casos especiales.

Desde hace ms de una dcada nos encontramos con una posicinmayoritaria que propone la unidad metodolgica en evaluacin. Estaposicin plantea que la evaluacin tiene como propsito ltimo llegar aun conocimiento que pueda utilizarse en un contexto denido, sea a nivel

poltico o prctico. Se busca alcanzar un conocimiento monopragmticoorientado a transormar la realidad, que sirva como base para la toma dedecisiones y la incidencia en polticas pblicas.

En ese marco, la prctica de la evaluacin ha logrado superar conmucha recuencia las contradicciones epistemolgicas, tcnicas y opera-tivas entre los mtodos cuantitativo y cualitativo. Muchos evaluadoreshan demostrado ser bastante eclcticos y su praxis ha permitido descubrirque la mayora de las contradicciones que se presentan entre los mtodos

no son tales, sino dierencias de tipo secundario que tienen un origenms terico que prctico.

Triangulacin y copleentariedad etodolgica

El uso combinado de mtodos, o triangulacin, es una estrategia me-todolgica que el evaluador puede utilizar para contrastar, de maneracalicada, diversas tcnicas, instrumentos o uentes de datos, con el n

de compensar el sesgo inherente al uso individual de cada una de ellas.La estrategia permite tambin vericar la justeza y estabilidad de losdatos producidos.

Es muy probable que los hechos que se evalen hicieren necesariotrabajar en simultneo con ambos mtodos. De hecho en los ltimosaos la gran mayora de los evaluadores combinan mtodos y asumen ladiversidad metodolgica como parte de su quehacer.


50/152


local

Al respecto, consideramos que son cuatro las razones undamentalespara recurrir a estrategias de triangulacin en los procesos de evaluacin:

La naturaleza de los hechos evaluados. La evaluacin de proyectos dedesarrollo observa hechos multidimensionales y cambiantes (como lapobreza, por ejemplo) y no existe tcnica o uente de datos que pors sola sea capaz de capturar la diversidad de sus maniestaciones. Latriangulacin crea condiciones para una comprensin ms integraly rica de este tipo de hechos.

La necesidad de contrastar los datos recogidos a partir de dierentes

tcnicas o instrumentos. Se parte del principio que los datos msslidos son aquellos que aparecen recurrentemente al observar hechosdesde dierentes procedimientos metodolgicos.

Uso de tcnicas e instrumentos cualitativos como paso previo a ladenicin de un instrumento cuantitativo. Consiste en aplicar tc-nicas cualitativas (entrevistas o grupos ocales) como instancia previaal diseo de una encuesta, con el propsito de utilizar sus resultados

para identicar temas relevantes que deban ser incluidos en estaltima o para adecuar su lenguaje a los usos locales.

Uso de tcnicas e instrumentos cualitativos como paso siguientea la aplicacin de una encuesta. El uso de entrevistas o grupos dediscusin sobre los resultados de una encuesta permite ocalizar enalgunos actores clave o en temas relevantes para alcanzar un anlisisms detallado y comprensivo de los datos cuantitativos.

A continuacin presentamos un ejemplo del uso de estrategias detriangulacin en el marco de un proceso de evaluacin.


51/152

Tercerap


Evaluacin de la iniciativa de Conuntos Integrados de Proyectos

La Fundacin W. K. Kellogg ha venido promoviendo en los ltimosaos la iniciativa de Conjuntos Integrados de Proyectos (CIP) en tres

regiones de Amrica Latina, con el propsito de crear condiciones para

la ruptura de los ciclos intergeneracionales de pobreza. Como parte de

su Teora de cambio, la Fundacin opera con una lgica territorial con

enoque en los jvenes y el desarrollo de alianzas interinstitucionales a

nivel local.

La experiencia de ejecucin de los CIP y los proyectos ha abarcado diver-

sos mbitos temticos, comprometiendo a dierentes actores locales. En

trminos de evaluacin, esto supone sumar a lo convencional (tangibles

como inraestructura, equipamiento e ingresos) un conjunto de nuevos

temas que tienen que ver con el logro de acuerdos, la construccin de

alianzas, la participacin y el involucramiento, el respeto por la diversi-

dad, los niveles de conanza y otros elementos que estn en la base de

las posibilidades de construccin colectiva. Es un proceso de evaluacin

bastante ms complejo que el de la evaluacin convencional.Con esos elementos en juego, se tom la decisin de trabajar con un set

de 17 instrumentos entre aquellos que provienen de tradiciones meto-

dolgicas cuantitativas y cualitativas. Estos son los siguientes:

3 encuestas: para hogares, docentes y directivos de centros educativos

y jvenes.

6 ormularios estructurados: para actores estratgicos locales, jvenes

representantes de organizaciones estudiantiles, de organizacionesjuveniles, jvenes emprendedores, empresarios locales y productores

asociados, proveedores de servicios de desarrollo empresarial y de

servicios nancieros.

4 entrevistas: para inormantes clave en polticas y programas para

jvenes, en empleo, responsables de educacin preescolar y autori-

dades de educacin.

4 ormatos para inormacin secundaria: para datos poblacionalesde jvenes, organizaciones juveniles, educacin y niveles de vida.


52/152


local

2. LAS TCNICAS Y LOS INSTRUmENTOS1

La encuesta

La encuesta es una tcnica de interaccin con la gente para recogerdatos cuantitativos sobre tpicos especcos. Para ello utiliza un instru-mento cerrado y estandarizado como el cuestionario, que comprendeun conjunto predenido de preguntas y opciones de respuesta ciradasa eectos del anlisis y la presentacin de los datos.

Por lo general, las encuestas se aplican a poblaciones o grupos deinormantes elegidos por procedimientos estadsticos conocidos comomuestras, por ello la inormacin que arrojan es generalizable a pobla-ciones ms extensas.

Pertinencia y utilidad

La encuesta es pertinente cuando se necesita recolectar datos con lassiguientes caractersticas:

Datos precisos, que derivan del uso de un instrumento altamenteestructurado y estandarizado, que predene preguntas y alternativasde respuesta a las que necesariamente se debe ceir el encuestado.

Datos susceptibles de anlisis cuantitativo, bsicamente a partir deluso de recuencias, distribuciones y relaciones entre las variablesrelevantes para el anlisis.

Datos generalizables por procedimientos de inerencia estadstica a

poblaciones extensas.Las encuestas son indispensables en la evaluacin de proyectos de

desarrollo y se utilizan para observar una amplia gama de aspectos talescomo:

La composicin y caractersticas de la poblacin denida como ob-jetivo de un proyecto.

Las ideas bsicas desarrolladas en este captulo han sido trabajadas y presentadas

en dos textos anteriores: Rodrguez Sosa (006) y desco (006a).


53/152

Tercerap


La construccin de datos de reerencia para comparar distintosmomentos de la ejecucin de un proyecto en un mismo grupo o en

grupos de comparacin. Las reacciones de la poblacin objetivo rente a los estmulos de un

proyecto, sus actitudes ms generales hacia los cambios e incluso suspercepciones en relacin a diversos temas relevantes.

El proceso de la encuesta

Por lo general, el proceso de diseo, ejecucin y tratamiento de unaencuesta se lleva a cabo en ocho pasos:

Identicar los indicadores (parte del objeto de la evaluacin) y lostemas que sern comprendidos en la encuesta.

Deinir los objetivos de la encuesta, que deben guardar unarelacin estrecha con los del momento de la evaluacin en que se lautiliza: estudio de base, evaluacin de medio trmino, y nal o de

impacto. Denir el diseo muestral, que comprende la identicacin de las

unidades de anlisis, la identicacin de la poblacin, la determina-cin del tamao de la muestra y la eleccin de la tcnica de muestreoms apropiada.

Elaborar el cuestionario, que supone tomar un conjunto de decisio-nes sobre la cantidad de preguntas a incorporar, el tipo de preguntasque se va a hacer y el orden en que se las va a presentar. odo ello enrelacin a los indicadores que se quiere analizar y los temas que sevan a tratar.

Organizar y ejecutar el trabajo de campo. Este paso incluye todas lasactividades necesarias para ejecutar (personal y logstica) y supervisarla ejecucin de la encuesta.

Construir una base de datos, que consiste en trasladar las respuestassicas desde los ormatos hacia un programa inormtico para su

procesamiento.


54/152


local

Analizar los resultados a travs de procedimientos estadsticos simples(recuencias y porcentajes) o ms complejos (correlaciones, regresio-

nes, etc.). Redactar el inorme del proceso de encuesta, que incluye desde los

objetivos que se plantearon, la metodologa seguida, los resultadosobtenidos y las conclusiones a las que se llega.

Ventaas y liitaciones

Ventajas:

Puede aplicarse a poblaciones relativamente extensas (muestras) y

simultneamente.

Puede contener una variedad de temas en un mismo proceso y en

un mismo instrumento.

Proporciona inormacin que puede ser utilizada para diversos nes

(diagnstico inicial, estudios de base, evaluaciones en sus dierentesmodalidades y momentos).

Para su ejecucin no requiere de personal especializado. Las encues-

tas se aplican con personal (encuestadores) capacitado en lo bsico.

Adems, su procesamiento es simple y no toma mucho tiempo.

Limitaciones:

La inormacin que arroja suele ser hasta cierto punto supercial, enla medida que no hay posibilidad de repregunta. Responde mejor a

los anlisis extensivos que a los intensivos y en proundidad.

Su diseo y denicin requiere de un conocimiento proundo de las

caractersticas culturales de la poblacin.

Su elaboracin lleva mucho tiempo y su aplicacin es costosa.


55/152

Tercerap


La entrevista

La entrevista es una conversacin presencial entre dos personas, entre-vistador y entrevistado, que se emplea para recoger datos desde la sub-jetividad de este ltimo (descripciones, puntos de vista, sentimientos,percepciones sobre situaciones o expectativas).

Hay dos clases de entrevistas: semi estructurada (tambin denominadaentrevista guiada o dirigida) y en proundidad (tambin llamada entrevis-ta libre, no directiva, no estructurada o etnogrca). La dierencia entreambas es de orden metodolgico y radica en el nivel de estructuracin

de temas y preguntas y en el rol que juega el entrevistador.

La entrevista semi estructurada

La entrevista semi estructurada trabaja con una gua de entrevista (es-pecie de cuestionario con preguntas abiertas) que determina los temas,las preguntas para cada tema y el orden en que se van a ormular. Desdeese punto de vista, sigue un procedimiento denido de antemano, aun-

que deja al entrevistador cierta libertad en el proceso de ejecucin, porejemplo, en el uso de la repregunta o en la proundidad y tiempo con elque se aborda cada tema.

Algunas de las caractersticas bsicas de la entrevista semi estructuradason las siguientes:

Por lo general se aplica a poblaciones relativamente extensas (alrede-dor de 30 inormantes), lo que hace necesario trabajar con muestras

intencionales. Es un instrumento ronterizo entre los mtodos cuantitativo y cua-

litativo. Con los datos obtenidos por su aplicacin es posible haceranlisis cuantitativo (estadstica simple con recuencias y porcentajes)y cualitativo (interpretacin). Siempre trabaja con los datos recurren-tes entre los distintos entrevistados.

Permite cierta exibilidad en la ormulacin de las preguntas y el

uso de la repregunta, lo que deriva de la dinmica del dilogo que seestablezca.


56/152

0


local

En trminos de su ejecucin, son tres los momentos clave de estetipo de entrevista:

El rapport, que es el momento inicial, donde el entrevistador debeconstruir una relacin de empata y un ambiente de conanza conel entrevistado. Esto se logra con actitudes cordiales y amistosas.

La cima, que es el momento de la entrevista en sus aspectos clave,aquellos que van a explorarse con mayor atencin y tiempo, y dondese obtendr la inormacin necesaria. Aspectos importantes a tomaren cuenta en este momento se reeren a que el entrevistador debe

ganarse la conanza del entrevistado y, es ms, debe crear un climade empata y uidez en la relacin entre ambos. El entrevistadordebe tener especial cuidado de no dejar ver sus propias opinionesni explicitar actitudes y conductas que choquen con los patronesculturales de la comunidad. En poblaciones con mucha carga emo-cional, ya sea poltica, religiosa o de otra ndole, es necesario tenermucho cuidado de no tomar partido en las disensiones que existan

y de usar la prudencia y habilidad para no quedar envuelto en losenrentamientos que puedan presentarse.

El cierre, que anuncia el nal de la entrevista. Es importante explicitarel agradecimiento por la colaboracin y concluir en un ambiente decordialidad y conanza.

La entrevista en profundidad

La entrevista en proundidad es una conversacin entre iguales que sloja uno o pocos temas generales, dejando que las preguntas surjan de ladinmica de la entrevista misma. En ella, el entrevistador debe asumiruna actitud no directiva, que consiste en dejar al entrevistado la mximalibertad para enocar y desarrollar sus respuestas y reexiones, sin incor-porar limitacin o estructura alguna.

Esta tcnica se utiliza para reconstruir procesos a partir del co-

nocimiento, vivencias o experiencias del inormante. El anlisis de lainormacin que produce debe necesariamente ir de la descripcin


57/152

Tercerap


hacia la interpretacin de las percepciones, opiniones y sentimientosexpresados.

Algunas de las caractersticas principales de la entrevista en proun-didad son las siguientes:

rabaja con pocos inormantes clave, es decir, individuos que poseeninormacin considerada altamente relevante para la evaluacin. Esees el criterio bsico para su seleccin.

Es un instrumento tpico del mtodo cualitativo. El tratamiento dela inormacin que produce se asocia necesariamente con la inter-

pretacin de percepciones, opiniones y sentimientos.

Promueve la absoluta libertad para el entrevistado en el contexto dela ejecucin de la entrevista. El entrevistador debe asumir una actitudextremadamente exible.

En trminos de su ejecucin, en general, los momentos de la entrevistaen proundidad son los mismos que en la entrevista semi estructurada(rapport, cima y cierre), con la dierencia undamental que las primerascasi siempre se desarrollan en varias sesiones.

Adicionalmente, hay otros requisitos que es necesario tomar en cuenta:

El nmero de inormantes clave no debe especicarse de antemano.Se debe empezar con una idea general de los actores sociales sobre losque se desea inormacin y de los inormantes idneos para ello, perodentro de un proceso exible y susceptible de cambios. El nmerode casos estudiados no tiene mucha importancia, lo signicativo esel potencial de cada uno.

Una de las claves de la entrevista en proundidad es conocer cundoy cmo sondear, explorar o escudriar. Como esta clase de entrevistasse hacen para conocer detalles sobre las experiencias de los actores ylos signicados que estos les atribuyen, el entrevistador no debe darpor sentado supuestos y comprensiones a nivel del sentido comn.Debe pedirse constantemente a los inormantes que amplen, clari-

quen o reelaboren lo que han expuesto, alentndolos continuamentea proporcionar descripciones detalladas de sus experiencias.


58/152


local

La necesidad de utilizar controles cruzados. El entrevistador debe estaralerta ante posibles exageraciones y distorsiones en las descripciones

e historias, o si se oculta inormacin. Las personas son propensasa exagerar sus xitos y a ocultar sus racasos. El evaluador debe leerentre lneasy corroborar las descripciones e historias con distintosinormantes.

Ventaas y liitaciones de abos tipos de entrevista

Ventajas: Permiten trabajar temas con el nivel de proundidad y precisin de-

seado. Esto bsicamente por la posibilidad del uso de la repregunta

y por la libertad de la que goza el entrevistador. Evidentemente, esta

ventaja es mayor en las entrevistas en proundidad.

Producen inormacin de una gran riqueza, en la medida que el en-

trevistado responde y reexiona utilizando sus propias concepciones

y empleando, para ello, su propio lenguaje y sus propios cdigos

culturales.

Permiten observar actitudes y conductas, en general todo lo

concerniente al lenguaje no verbal. Ello constituye un plus de

inormacin.

Limitaciones:

Se necesita una amplia preparacin y experiencia para realizar buenas

entrevistas, especialmente entrevistas en proundidad.

La posibilidad que en el contexto de la entrevista se produzca una

distorsin desde el entrevistador. Es probable que ste, por diversas

razones (problemas de comunicacin, de capacidad, de involucra-

miento con determinados supuestos o hiptesis), malinterprete la

inormacin emitida por el entrevistado.

La posibilidad que en el contexto de la entrevista se produzca una

distorsin desde el entrevistado. Se puede sealar al entrevistado que


59/152

Tercerap


no desea responder, el que miente voluntariamente, el que involun-

tariamente se deja llevar por los procesos se

desco (2007) evaluación de proyectos de desarrollo local

Documents