aprendiendo con la EVALUACCIÓN para la ACCIÓN

aprendiendo con la EVALUACCIÓN para la ACCIÓN

Subvencionan el proyecto:

Traducción:Traducciones Sergofi s.l.

Diseño y maquetación:LOC Comunicación Visual

Créditos del DVD:Coordinación, diseño y realización:

Guillermo MaceirasProgramador Web:

Xabier OrbegozoGestión rodaje:

Juan Ramallo (A Cabalo Produccións)

Bilbao, marzo 2009. dep. legal: BI-696-09

Este proyecto ha sido gestionado por CírculoSolidario Euskadi, KALIDA DE A.

Acompañamiento, Calidad y Desarrollo eIniciativas de Cooperación y Desarrollo, quienes

han coordinado las actividades del proyecto“EVALUAcción. Generando cultura evaluativa

entre las ONGD vascas”, revisado y consensua-do los contenidos de esta publicación y seleccio-

nado la documentación para el DVD, donde seincluye el texto íntegro del documento de

Diagnóstico, Sistematización, un vídeo y otrosmateriales vinculados al proyecto desarrollado

entre 2006 y 2009.

k

Esta obra está bajo una licencia Reconocimiento-No comercial-Sin obras derivadas 3.0 España de Creative Commons. Para ver

una copia de esta licencia, visitehttp://creativecommons.org/licenses/by-nc-nd/3.0/es/ o envie unacarta a Creative Commons, 171 Second Street, Suite 300, San

Francisco, California 94105, USA.

1. Presentación.............................................................................. 4

1.1 Sobre el proyecto .................................................... 6

1.2 Sobre la publicación ................................................ 8

2. Itinerario, pasos dados en EVALUAcción y aprendizajes...... 10

2.1 Taller de ENFOQUE .............................................. 12

2.2 El DIAGNÓSTICO .................................................. 14

2.3 Las JORNADAS y CONVERSATORIOS .................. 27

2.4 La FORMACIÓN .................................................... 37

2.5 El ACOMPAÑAMIENTO ........................................ 42

2.6 La SISTEMATIZACIÓN del proceso ...................... 55

3. Evaluación para la Acción. Mirando al futuro ...................... 66

3.1 Sobre la MOTIVACIÓN para evaluar ...................... 69

3.2 Sobre CÓMO ENTENDEMOS la evaluación.......... 70

3.3 Sobre PRÁCTICAS EVALUATIVAS .......................... 72

3.4 Sobre la INTERRELACIÓN entre las ONG ............ 73

3.5 Sobre la VALORACIÓN DE LA PRÁCTICA ............ 74

Agradecimientos.......................................................................... 76

Índice

k

2

Tienes en tus manos EVALUAcción. “Aprendiendo con la evaluación.Aprendiendo para la Acción”. En él recogemos el proceso de EVALUAcción-Generando cultura evaluativa entre las ONGD vascas que fue puesto en mar-cha y dinamizado por un equipo formado por la ONGD Círculo SolidarioEuskadi, y dos consultoras: KALIDA DE A. Acompañamiento, Calidad yDesarrollo e Iniciativas de Cooperación y Desarrollo.

La historia comenzó hace ya unos tres años. Son varios los momentos y lasacciones que hemos ido viviendo en EVALUAcción y varias las personas yorganizaciones que hemos participado. Gracias a todas ellas ha sido posible yanda por ahí suelto el gusanillo de la evaluación. Os lo contamos paso a paso.

Introducción

w

3

Círculo Solidario Euskadi es una ONGD cuyo objetivo es fomentar el desarro-llo y la promoción personal y social, combatiendo la pobreza y generandosociedad civil activa en los lugares urbanos marginales de El Salvador, Perú yFilipinas. Además, consideramos que es fundamental el cambio de mentalida-des en el Norte como aspecto básico de nuestra actuación.

KALIDA DE A. Acompañamiento, Calidad y Desarrollo es una red de consul-toría que busca fortalecer a organizaciones sociales y entidades públicas y pri-vadas, a través de servicios de asesoría y acompañamiento desde un enfoquede mejora de la calidad en la gestión, la cultura evaluativa, la mejora de proce-sos internos y el impacto de sus acciones.

Iniciativas de Cooperación y Desarrollo es una consultora social que facilitaprocesos de fortalecimiento institucional a través de formaciones y asesoríassobre evaluación, sistematización, planeación estratégica y diagnóstico. Laclave transversal de este trabajo es la participación que contribuye al empode-ramiento de personas e instituciones que persiguen la construcción de undesarrollo humano, sostenible e integral.

EQUIPO PROMOTOR

Presentación

ón

q

6

Tanto Círculo Solidario Euskadi como KALIDA DE A. Acompañamiento,Calidad y Desarrollo e Iniciativas de Cooperación y Desarrollo compartimosla importancia de la evaluación en nuestro trabajo y en el que realizamos juntocon otras organizaciones.

Pensamos que la evaluación debe ser parte de la vida de las asociaciones ypara ello es importante que se vaya generando cultura de la evaluación den-tro de las mismas. Esto no es algo que surge de la noche a la mañana, más bienhace falta ir dando pasos para subirse al carro de la evaluación.

Por eso ideamos de manera conjunta este proyecto. Y lo llamamosEVALUAcción. Porque queríamos promover la idea de que la evaluación es unproceso práctico, que está orientada a la acción, a aprender y mejorarla y queeso se hace de manera participativa. Y la evaluación es una acción en sí misma,es parte de las acciones en nuestras organizaciones. Y que a evaluar se apren-de evaluando.

Este proyecto ha tenido varios momentos en los que la participación de can-tidad de personas y organizaciones ha sido fundamental.

1.1. Sobre el proyecto“EVALUAcción –

Generando culturaevaluativa entre las

ONGD”

1.P

rese

ntac

ión

1. Enfoquepara cohesionar al equipode trabajo de las tresentidades y articular el

enfoque de evaluación delproyecto.

2. Sensibilizaciónpara avanzar en la importancia

de la evaluación y en lopositivo de incorporarla como

instrumento de mejoracontinua. Dos momentos:• El diagnóstico: ¿cómo

estamos?(febrero-octubre 2007)

• Las jornadas yconversatorios:

reflexionando sobre cómoestamos… y más(octubre 2007)

4. Reflexión ycompartiendo experiencias

para que las ONGD reflexionen,compartan sus prácticas

evaluativas y los aprendizajesque se han ido generando. Tres

momentos:• La sistematización delproceso: aprendiendo de la

propia experiencia enEVALUAcción

(octubre 2007 - julio 2008)• La publicación

(julio 2008 – marzo 2009)• La socialización

(abril 2009)

3. Formación prácticapara que las ONGD

conozcan y apliquen modelosy herramientas de

evaluación. Dos momentos:• a formación: ¿cómo

podríamos estar?(noviembre 2007)

• El acompañamiento:experimentando

(enero-junio 2007)

8

1. ¿PARA QUÉ ES? • Para difundir un proceso pensado, creado, vivido para

generar cultura evaluativa.• Para devolver a las organizaciones participantes los pasos

recorridos por el proyecto.• Para compartir los aprendizajes que se han ido generan-

do durante los distintos momentos de EVALUAcción.• Para contagiar las ganas de hacer evaluación y aprender

y mejorar con ella. Para “subirse al carro” de la evalua-ción.

2. ¿QUÉ NOS PUEDE APORTAR? • Datos y reflexiones sobre el punto de partida en el que

están las ONGD de Euskadi en Evaluación. • Podemos aprender de la experiencia de este recorrido

por las claves y los clavos de la evaluación y del trabajode varias organizaciones.

• Conocer la realidad de la evaluación entre las ONGD vas-cas de la mano de un diagnóstico en profundidad.

• Acercarnos a otras reflexiones y nuevas experiencias deevaluación.

• Descubrir ideas y herramientas para ir incorporando laevaluación en nuestras prácticas y en nuestras organiza-ciones.

1.2. Sobre la publicación“aprendiendo con

EVALUAcciónpara la acción”

1.P

rese

ntac

ión &

9

• Que nos entre el gusanillo de evaluar para aprender ymejorar.

• Reflexiones y aprendizajes de quienes han participado eneste proyecto a lo largo de distintas actividades: diagnós-tico, jornadas, formación, acompañamiento y sistematiza-ción.

3. ¿PARA QUIÉN ES? • Para aquellas organizaciones y personas con curiosidad

sobre la evaluación.• Para quienes quieren mejorar el trabajo que desarrollan,

tanto en el Sur, en el ámbito de proyectos y programasde desarrollo y de acción humanitaria; como en el Norte,en el ámbito de la educación para el desarrollo y el volun-tariado.

• Para quienes quieren fortalecerse y mejorar a nivel orga-nizacional.

• Para quienes buscan claves para ir incorporando la eva-luación a su práctica e ir generando procesos evaluativos.

• Para quienes se hacen preguntas sobre cómo ganarcoherencia y mejorar su trabajo.

• Para quienes quieren hacérselas.

Sobre la publicación

&g# # #

2.1Taller de ENFOQUE

2.2El DIAGNÓSTICO:

cómo estamos

2.3Las JORNADAS y

CONVERSATORIOS:reflexionando sobre

cómo estamos…y más

2.4La FORMACIÓN:

¿cómo podríamosestar?

2.5El ACOMPAÑAMIENTO:

experimentando

2.6La SISTEMATIZACIÓN

del proceso:aprendiendo de la

propia experiencia enEVALUAcción

pág. 12 pág. 14 pág. 27 pág. 37 pág. 42 pág. 55

Pasos dados en EVALUAccióny aprendizajes

Itinerario0

2.4La FORMACIÓN:

¿cómo podríamosestar?

2.5El ACOMPAÑAMIENTO:

experimentando

2.6La SISTEMATIZACIÓN

del proceso:aprendiendo de la

propia experiencia enEVALUAcción

7 pág. 37 pág. 42 pág. 55

0

* Fuente: Reflexiones de Círculo Solidario Euskadi, KALIDA DE A, Acompañamiento, Calidad y Desarrollo e Iniciativas de Cooperación y Desarrollo. Taller de Enfoque del Proyecto “Generando Cultura Evaluativa entre las ONGD vascas”.

12

Desde las primeras reuniones imaginando el proyecto, las tres entidades(Círculo Solidario Euskadi, KALIDA DE A. Acompañamiento, Calidad yDesarrollo e Iniciativas de Cooperación y Desarrollo), vimos necesario crear unespacio para cohesionar al equipo de trabajo y para articular el enfoque deevaluación del proyecto.

Para ello, durante varias sesiones presentamos y reflexionamos sobre las pro-puestas teóricas y metodológicas de cada una de las entidades del equipo, lasdiferencias y los puntos en común, las potencialidades y las dificultades.Decidimos partir de poner en común la experiencia de cada entidad en evalua-ción y llegar a acuerdos sobre concepto, características, terminología itinera-rios y metodología de evaluación.

Todo ello para conocer y reconocer los diferentes planteamientos de los quese partía y construir un enfoque conjunto que orientara el trabajo del diagnós-tico, de la formación y del acompañamiento que habíamos diseñado en el pro-yecto.

Estas son algunas de las ideas clave sobre el concepto de evaluación que des-tacamos como equipo*:

• La evaluación es un proceso participativo, que requiere ypromueve la participación de los/as involucrados/as enlas distintas intervenciones de desarrollo y es transversala las mismas.

• Es inherente a la acción.

2.1.Taller de Enfoque(momento cero)

2.It

iner

ario

:Pas

os d

ados

en

eval

uaci

ón y

apr

endi

zaje

s

13

• Es un proceso flexible y a la vez sistemático y estructura-do, en el que se pueden utilizar diversidad de herramien-tas y que ha de planificarse.

• Existen distintas tipologías de evaluación.• Requiere de una recogida de información, un análisis crí-

tico y valoración sobre la acción en base a unos criteriosacordados previamente.

• Considera aspectos cuantitativos y cualitativos en los quelas distintas subjetividades y la confianza y la transparen-cia juegan un papel importante.

• Está orientada a generar e incorporar aprendizajes. Espráctica.

• Es importante socializar los aprendizajes de las evaluacio-nes dentro y fuera de la organización.

• Busca mejorar, fortalecer y potenciar las capacidades.

Asimismo, intercambiamos como equipo las propuestas de itinerarios de unproceso de evaluación de cada entidad y realizamos un análisis comparado delas mismas. Generamos una propuesta conjunta ordenada en 4 bloques con14 posibles pasos. Os la presentamos a continuación:

Taller de enfoque

ITINERARIO DE EVALUACIONBloque 1VAMOS A INICIAR ELPROCESO

1. Decisión de evaluar2. Lectura de la documentación3. Elaboración de los términos dereferencia (en la ONGD)

4. Creación del equipo

Bloque 2DISEÑO DELPROCESO

5. Las expectativas delequipo evaluador

6. Desde dónde y quéevaluamos7. Con qué instrumentosy a quién8. Cuándo (calendario)

Bloque 4COMPARTIENDO11. Socialización interna12. Documento final13. Decisiones de cambio14. Socialización externa

Metodología

participativa

Elaborado por Círculo Solidario Euskadi, KALIDA DE A, Acompañamiento, Calidad y Desarrollo e Iniciativas de Cooperación y Desarrollo.

Bloque 3PUESTA EN MARCHA9. Trabajo de campo10. Análisis de lainformación

14

Arrancamos la etapa de sensibilización con el DIAGNOSTICO*. De la mano deKALIDA DE A. Acompañamiento, Calidad y Desarrollo, durante los meses defebrero a octubre de 2007, se llevó a cabo un análisis cuantitativo y cualita-tivo de las prácticas evaluativas de las ONGD vascas respecto a tres áreasprincipales:

• la evaluación de proyectos de desarrollo y/o acciónhumanitaria

• la evaluación de proyectos de educación para el desarro-llo y sensibilización

• la evaluación a nivel organizacional

Este estudio era fundamental para conocer y analizar la realidad sobre las visio-nes que las ONGD tenían sobre evaluación y la comparación entre el “discur-so” y la práctica. El Diagnóstico buscaba ofrecer los siguientes resultados anivel cuantitativo y cualitativo: un marco conceptual de evaluación de partida,un panorama sobre el concepto que las ONGD vascas tienen sobre evalua-ción, un conocimiento sobre las prácticas evaluativas de las ONGD a distintosniveles de la gestión, la valoración que hacen las ONGD de la evaluación a dis-tintos niveles, un análisis de los factores de la no-evaluación y un análisis enprofundidad de experiencias que han sido significativas en Euskadi en estecampo.

Para la realización del diagnóstico se convocó a todas las ONGD de laCoordinadora de ONGD de Euskadi y/o del Consejo de Cooperación delAyuntamiento de Bilbao. Así, se envió la encuesta a un total de 99 ONGD de

2.2. El Diagnóstico:¿Cómo estamos?

2.It

iner

ario

:Pas

os d

ados

en

eval

uaci

ón y

apr

endi

zaje

s

15

las cuales 75 pertenecen a la Coordinadora y 45 al Consejo**. De todas ellas contestaron 54ONGD, siendo 22 de la Coordinadora de ONGD de Euskadi, 10 del Consejo de Cooperacióndel Ayuntamiento de Bilbao y 22 de ambas entidades.

A nivel metodológico todo el estudio giró en torno a 4 categorías de análisis que os relata-mos a continuación:

• El concepto de evaluación de las ONGD consultadas: elementos de una definiciónde evaluación, condiciones necesarias para poner en marcha un proceso evaluati-vo, los argumentos para la evaluación, criterios o temas prioritarios a trabajar en unproceso evaluativo y los factores de desarrollo prioritarios para el análisis de la sos-tenibilidad en una evaluación.

• Las prácticas evaluativas de las ONGD consultadas: media y ratio de evaluacionesrealizadas sobre proyectos y acciones aprobadas, tipo de evaluaciones a nivel orga-nizacional, la existencia de un protocolo o sistema de evaluación, elementos delmismo, responsables de los procesos de evaluación, participantes en los procesosde evaluación, enfoques e instrumentos de la evaluación y utilización de los resul-tados y recomendaciones obtenidas.

• La valoración sobre las prácticas evaluativas: razones para poner en marcha pro-cesos de evaluación, valoración de la evaluación más significativa, niveles y apren-dizajes concretos obtenidos del proceso, grado de puesta en práctica de las reco-mendaciones, utilidades de los procesos.

• La valoración de la no práctica en evaluación: argumentos para no evaluar, retos,dificultades y limitantes de las organizaciones a la hora de poner en marcha proce-sos evaluativos.

Como decíamos, el análisis del Diagnóstico se planteó desde una visión integrada enfocandoel estudio cuantitativa y cualitativamente. Para la fase cuantitativa, KALIDA DE A.Acompañamiento, Calidad y Desarrollo elaboró un cuestionario que contó con las aportacio-nes de las entidades del proyecto. A partir de los resultados y el análisis de la fase cuantita-tiva, se seleccionaron 7 casos significativos para profundizar y contrastar la información yanalizar de forma más detallada las 7 experiencias significativas en evaluación.

* Se puede consultar el diagnóstico completo elaborado por KALIDA DE A, Acompañamiento, Calidad y Desarrollo en el DVDque forma parte de esta publicación: “Diagnóstico sobre las prácticas evaluativas de las Organizaciones no gubernamentales dedesarrollo en Euskadi”. Bilbao, Noviembre de 2007. || ** Algunas ONGD participan en ambos espacios y otras en uno de ellos.

16

I. PREPARACIÓN (SELECCIÓN DE MUESTRAY DISEÑO HERRAMIENTAS) - FEBRERO 2007

- Sensibilización a las organizaciones aparticipar.

- Contexto teórico e hipótesis de partida(taller categorías de análisis).

- Selección de la muestra cuantitativa.- Diseño del instrumento cuantitativo:

Cuestionario.

II. TRABAJO DE CAMPO CUANTITATIVOMARZO-JUNIO 2007

- Preparación y prueba piloto de la herra-mienta de recogida de informacióncuantitativa (encuesta).

- Codificación, pruebas previas, verifica-ción de errores en ítems, etc.

- Trabajo de campo.- Informe preliminar cuantitativo.

III. TRABAJO DE CAMPO CUALITATIVOJUNIO-JULIO 2007

- Reflexión del equipo sobre resultadoscuantitativos de la fase anterior indaga-ción y selección de profundización en 7casos significativos (2 en Proyectos deCI, 2 en Proyectos de ED, 3 a nivel orga-nizacional).

- Elaboración de categorías de análisispara el estudio de las experiencias signi-ficativas.

- Entrevistas en profundidad en los 7casos.

- Socialización casos con ONGD.

IV. ELABORACIÓN DEL INFORME Y SOCIALIZACIÓNEN LAS JORNADAS - SEPTIEMBRE-OCTUBRE 2007

- Informe preliminar.- Reflexión sobre resultados del diagnós-

tico y consulta a ONGD que han partici-pado sobre resultados.

- Elaboración de informe final y publica-ción.

Fuente: KALIDA DE A. Acompañamiento, Calidad y Desarrollo (2007):Diagnóstico sobre las prácticas evaluativas de las ONGD en Euskadi.Bilbao, Noviembre de 2007 en el marco del Proyecto EVALUAcción.Generando cultura evaluativa entre las ONGD vascas.

LAS CONCLUSIONES Y APRENDIZAJES DELDIAGNÓSTICOA continuación recogemos las principales conclusiones y aprendizajes delDiagnóstico sobre las 4 categorías de análisis desarrolladas cuya versión com-pleta puedes encontrar en el DVD que es parte de esta publicación.

1. Sobre el CONCEPTO DE EVALUACIÓN

CONCLUSIONES Y APRENDIZAJES DEL ANÁLISIS CUANTITATIVO

Las ONGD consultadas consideran la evaluación como un proceso orientadoal análisis de resultados y objetivos, como una herramienta para aprender ymejorar, orientada a la toma de decisiones y como un análisis crítico de lasacciones realizadas.

Entre las definiciones proporcionadas por las entidades de manera abierta,destacan aquellas en las que priman elementos relacionados con el análisispara la aplicación práctica de las recomendaciones y, así, favorecer la tomade decisiones sobre proyectos o acciones futuras.

Las ONGD manejan el discurso sobre la importancia y necesidad de la eva-luación y consideran que debe realizarse, principalmente, porque mejora lagestión de la entidad, por el impacto en la vida de las personas que tienen susintervenciones y por cuestiones éticas, ya que manejan dinero público y priva-do. Este discurso se evidencia, en mayor medida, cuando quien responde alcuestionario es la Junta Directiva o Dirección.

EL DIAGNÓSTICO SE DESARROLLÓ DURANTE CUATRO FASES:

017

El diagnóstico: ¿Cómo estamos?

III. TRABAJO DE CAMPO CUALITATIVOJUNIO-JULIO 2007

- Reflexión del equipo sobre resultadoscuantitativos de la fase anterior indaga-ción y selección de profundización en 7casos significativos (2 en Proyectos deCI, 2 en Proyectos de ED, 3 a nivel orga-nizacional).

- Elaboración de categorías de análisispara el estudio de las experiencias signi-ficativas.

- Entrevistas en profundidad en los 7casos.

- Socialización casos con ONGD.

IV. ELABORACIÓN DEL INFORME Y SOCIALIZACIÓNEN LAS JORNADAS - SEPTIEMBRE-OCTUBRE 2007

- Informe preliminar.- Reflexión sobre resultados del diagnós-

tico y consulta a ONGD que han partici-pado sobre resultados.

- Elaboración de informe final y publica-ción.

Fuente: KALIDA DE A. Acompañamiento, Calidad y Desarrollo (2007):Diagnóstico sobre las prácticas evaluativas de las ONGD en Euskadi.Bilbao, Noviembre de 2007 en el marco del Proyecto EVALUAcción.Generando cultura evaluativa entre las ONGD vascas.

Las entidades que manejan un menor presupuesto,son las que más señalan la necesidad de evaluar porcriterios de transparencia, mientras que aquellasentidades con área de sensibilización son quienesconsideran, en mayor medida, que la evaluación esnecesaria por la exigencia de las entidades financia-doras.

En las intervenciones que se realizan en el Norte seconsideran prioritarios para trabajar en un procesoevaluativo, los criterios de impacto, coherencia, par-ticipación, coordinación y género. En las accionesque se realizan en el Sur, los criterios más importan-tes a trabajar en procesos de este tipo son, la soste-nibilidad, el impacto, el género, la participación, lapolítica institucional y la coherencia.

Por último, los factores de desarrollo prioritarios ala hora de analizar la sostenibilidad de una evaluaciónson los factores institucionales, socioculturales y loseconómicos.

CONCLUSIONES Y APRENDIZAJES DEL ANÁLISIS CUALITATIVO

DE LAS 7 EXPERIENCIAS

- La mayoría de las ONGD no tiene un concepto deevaluación trabajado, consensuado o reflexionadoen la organización, pero destaca su importancia eincorporación paulatina en su organización.

18

- La forma de entender la evaluación está ligada a las experiencias concretas.

- En la mayoría de las organizaciones la evaluación se vincula a la medición deresultados e impacto, deseando identificar elementos clave para las futurasplanificaciones, sobre todo de largo plazo.

- Las organizaciones que presentan su experiencia, suelen distinguir el nivelde evaluación de sus productos (proyectos en el Norte y en el Sur) de la eva-luación organizacional, así su necesidad haya surgido de una o de otra expe-riencia, han desarrollado metodologías diferentes.

- Muchas de las organizaciones consultadas, reconocen la importancia deproducir datos cuantitativos, pero la necesidad de incorporar también lavaloración de lo cualitativo y subjetivo de los procesos.

- Aparece como importante, sobre todo en las evaluaciones de acciones en elNorte y en el Sur, la medición del impacto ligado a cambios de actitudes ycomportamiento, no sólo disponer de datos.

- La evaluación se entiende como algo sencillo y práctico. Cargado de utilidady practicidad para no sobrecargar a los agentes que participan en ella.

2. Sobre las PRÁCTICAS EVALUATIVAS

CONCLUSIONES Y APRENDIZAJES DEL ANÁLISIS CUANTITATIVO

El 85,2% de las entidades consultadas realizan algún tipo de evaluación, biende las acciones y proyectos realizados en el Norte o en el Sur o bien a nivelinterno de la propia organización.

Las ONGD realizan, más o menos, la misma media de proyectos deEducación al Desarrollo, sin embargo, las diferencias se detectan entre losproyectos de Cooperación al Desarrollo donde un pequeño número de entida-des gestionan una gran cantidad de proyectos.

Aunque el número de proyectos y evaluaciones realizadas en el Sur es mayorque las realizadas en el Norte, proporcionalmente se evalúan más proyectosen el Norte que en el Sur. Por otra parte, la evolución de las acciones deEducación al Desarrollo y Sensibilización en el periodo de 2000 a 2006 es cre-ciente, mientras que los proyectos de Cooperación al Desarrollo tienden aestancarse.

Las evaluaciones más frecuentes son las que se centran en los resultados yobjetivos por áreas o departamentos, seguidos de la evaluación de la planifica-ción operativa anual. Lo habitual es que sea la dirección o coordinación o lapersona que coordina el proyecto quienes se responsabilizan, en general, delas evaluaciones que se realizan en la organización.

19

El diagnóstico: ¿Cómo estamos?

La perspectiva de evaluación más utilizada es el enfoque del marco lógico. Apesar de que se utiliza significativamente más para las evaluaciones de lasacciones que se desarrollan en el Sur, es el segundo modelo más utilizado paraevaluaciones en el Norte, junto a la evaluación participativa.

En las evaluaciones realizadas de los proyectos de Cooperación al Desarrollo,se detecta una ligera tendencia a utilizar técnicas cualitativas como instrumen-tos de trabajo de campo, mientras que en las acciones de Educación alDesarrollo o Sensibilización y organizacional observamos una prevalencia detécnicas cuantitativas, especialmente, análisis estadístico y encuestas de satis-facción.

Realizar una reunión para tomar decisiones sobre el futuro y enviar una copiadel informe a las entidades financiadoras, son las dos utilidades más frecuen-tes que se realizan de las recomendaciones obtenidas de los procesos de eva-luación realizados. Una utilidad específica de las evaluaciones realizadas en elSur es la de socializar los resultados de la evaluación con la contraparte.

CONCLUSIONES Y APRENDIZAJES DEL ANÁLISIS CUALITATIVO DE LAS 7 EXPERIENCIAS

- La práctica evaluativa surge, en la mayoría de los casos analizados, de lanecesidad de evaluar y mejorar, más que de una imposición externa.

- Entre las prácticas analizadas existen experiencias a distintos niveles, de edu-cación al desarrollo, de acompañamiento a proyectos en el Sur, y de organi-zación con énfasis en necesidades distintas pero complementarias.

- La mayoría de las organizaciones analizadas no dispone de un protocolo deevaluación a nivel global, pero sí de pequeñas pautas e instrumentos para lle-varla a cabo. Existe una concepción de la evaluación ligada a la práctica.

k

20

- La mayoría de las ONGD suele conformar un equipo (o varios) de trabajointerno para desarrollar la evaluación. Normalmente es un equipo mixto, quecuenta con personal directivo, operativo y externo (este no siempre).

- Es común que se cuente con un apoyo externo (o alguien que internamentetiene experiencia o conocimiento), desde lo metodológico, y siempre con laparticipación de la organización.

- Existe una variedad de enfoques, desde los más básicos ligados al marcológico (indicadores y fuentes), hasta herramientas participativas, herramien-tas ligadas a enfoques de calidad (ISO y EFQM), herramientas del análisis degénero, de la planificación estratégica, DAFO, diagramas de afinidad, etc.

- Las ONGD han ido desarrollando instrumentos para la propia evaluaciónsegún la necesidad. Normalmente son cuantitativos y cualitativos y encuen-tran dificultades para la valoración del impacto.

- Las herramientas más utilizadas son las entrevistas de satisfacción, encues-tas, talleres grupales o de discusión, historias de vida y análisis documental.

21

El diagnóstico: ¿Cómo estamos?

3. Sobre la VALORACIÓN DE LAS PRÁCTICAS EVALUATIVAS

CONCLUSIONES Y APRENDIZAJES DEL ANÁLISIS CUANTITATIVO

La principal razón que señalan las ONGD para realizar evaluaciones es la deaprender de los procesos, la segunda y tercera razón están relacionadas conlos elementos de mejora que introducen las mismas y la utilidad que tienenpara las organizaciones. La cuarta razón es la exigencia creciente de la ciuda-danía de una mayor transparencia en la gestión de fondos públicos y privados,y tan solo, en último lugar aparece la exigencia de las entidades financiadorascomo argumento para realizar procesos evaluativos.

Lo habitual es que aquellas entidades que realizan evaluaciones estén satisfe-chas con la evaluación más significativa que han realizado en los últimos cincoaños. La participación de los agentes involucrados y la utilidad de los resulta-dos son los dos elementos mejor valorados de dicho proceso evaluativo, porel contrario, la calidad de los procesos es el elemento que concentra unamayor insatisfacción.

Los procesos evaluativos favorecen el aprendizaje de cuestiones relacionadascon la gestión y la estrategia de la entidad. Los aprendizajes más importantesse relacionan con los siguientes aspectos:

APRENDIZAJES MÁS IMPORTANTES DE LA EVALUACIÓNMÁS SIGNIFICATIVA REALIZADA EN LOS ÚLTIMOS CINCO AÑOS

Nº %

Relaciones y comunicación con entidades,gestión de recursos humanosy fomento de la participación 17 28,3Cuestiones de gestión operativa 12 20,0Mejoras en el planteamiento de los procesosy metodología. Identificación de factores clave 12 20,0Cuestiones de gestión estratégica 7 11,7A introducir correcciones concretas 6 10,0Adoptar una nueva perspectiva 4 6,7No concreta un aprendizaje 2 3,3

TOTAL 60 100,0

aFuente: KALIDA DE A, Acompañamiento, Calidad y Desarrollo (2007): Diagnóstico sobre las prácticas evaluativas de las ONGD enEuskadi. Bilbao, Noviembre de 2007 en el marco del Proyecto EVALUAcción. Generando cultura evaluativa entre las ONGD vas-cas.

22

Las principales utilidades concretas que las entidades consultadas han incor-porado a su gestión a partir de las recomendaciones obtenidas de la evaluaciónrealizada son las siguientes:

CONCLUSIONES Y APRENDIZAJES DEL ANÁLISIS CUALITATIVO DE LAS 7 EXPERIENCIAS

- La valoración general que hacen las organizaciones es que la evaluación esun proceso positivo, útil y que genera aprendizaje y fortalecimiento institu-cional, pero que requiere esfuerzos.

- La formación y la capacitación es clave en estos procesos. En la mayoría secuenta con alguien que maneja herramientas evaluativas o el equipo seforma en ellas. Esto facilita la comprensión y la participación en el proceso.

- No siempre hay una percepción negativa de la evaluación externa, sobretodo en los casos organizacionales donde se valora como interesante. En elcaso de evaluaciones en el Sur, se trata de priorizar que sean consultoraslocales.

- Parece que la evaluación es más útil en procesos de largo plazo. Bien en laplanificación de varios años de la organización, o en procesos educativos

UTILIDAD PRÁCTICA MÁS IMPORTANTE DE LA EVALUACIÓNMÁS SIGNIFICATIVA REALIZADA EN LOS ÚLTIMOS CINCO AÑOS

Nº %

Aumento de la eficacia y la eficiencia.Mayor adaptación de los proyectos a la realidad 15 31,3Aplicaciones a nivelde planificación y gestión estratégica 14 29,2Mejoras en las herramientas utilizadas,en los informes y las justificaciones 6 12,5Mejoras en la contraparte y mayorconocimiento de la zona de actuación 5 10,4Descubrir la importanciay la necesidad de la evaluación 4 8,3Aumento de la confianzaen la organización y mayor participación 4 8,3

TOTAL 48 100,0

a

Fuente: KALIDA DE A, Acompañamiento, Calidad y Desarrollo (2007): Diagnóstico sobre las prácticas evaluativas de las ONGD enEuskadi. Bilbao, Noviembre de 2007 en el marco del Proyecto EVALUAcción. Generando cultura evaluativa entre las ONGD vas-cas.

23

El diagnóstico: ¿Cómo estamos?

estables o, bien en procesos de acompañamiento a las contrapartes, dondela evaluación permite visualizar resultados e impacto y establecer cambios.

- Para la mayoría de estas organizaciones, la participación es clave para laapropiación del proceso y la satisfacción de las personas. Es importante con-tar con el aval y el apoyo de los órganos de dirección (asambleas, patrona-tos, comités de gestión, etc.)

- Destacan que la evaluación debiera estar ligada a la acción, no debe enten-derse como un proceso aparte. De hecho es útil para la planificación poste-rior y para posibles réplicas.

- La evaluación es una acción pedagógica en sí misma y supone un elementode fortalecimiento institucional (por el aprendizaje de conocimiento y por lapropia práctica que fortalece a la ONGD).

- La evaluación deja también resultados positivos, no sólo señala lo negativo.En algunos procesos se señala que la evaluación sirve para validar sospechaso descubrir nuevos elementos a tener en cuenta.

- En evaluaciones del Sur es más común el uso de los criterios del CAD(Eficacia, eficiencia, pertinencia, sostenibilidad e impacto) complementadocon otras categorías sectoriales y transversales. En el caso de la Educaciónal Desarrollo hay menos referentes y las categorías de análisis suelen serespecíficas de la ED.

1

•Ayudó a definir mejor la iden-tidad, y a compartirla más.

•Reducción de los niveles dedispersión estratégica.

•Necesidad de documentar losprocesos.

•Mejorar la gestión de losrecursos humanos.

•Necesidad de tender puentesde colaboración entre áreas.

•“Ahora no nos da miedomedir”.

•Ya no existe tanto el “reino dela opinión”, “me da la sensa-ción”, que a veces impera por-que en los proyectos socialeses difícil medir.

ALBOAN

•Hemos introducido cambios alproyecto según se iban anali-zando los resultados.

•No realizamos evaluación por-que lo exijan, sino porque esrelevante.

ZABALKETA

•Evaluar es importante y positi-vo.

•Hay crear una disciplina deevaluar hacia fuera (participa-tiva, sujetos).

•Tiempo, cuesta recursos.•Merece la pena.• Que sea participativa ha sidoclave.

INTERMON OXFAM

•Los procesos locales requieren sutiempo, sobre todo los organizacio-nales.

•Es clave incorporar a la poblaciónbeneficiaria en la evaluación.

•Contratar a consultoras externaslocales nos aporta objetividad.

•En el tema de género requeríamosde un acompañamiento específico conuna persona formada.

FISC

•Si no hubiera sido participativono sería útil. Aunque no seconsultaba todo, sí lo esencialy eso lo ha hecho más dinámi-co.

•La evaluación ha sido participa-tiva y ha establecido pautaspara el fortalecimiento institu-cional y el aprendizaje.

MUGARIK GABE

•“No puedes emprender algo sino sabes de qué va”.

•El papel pedagógico de la eva-luación.

IZAN

•Las evaluaciones nos hanservido para tomar deci-siones.

•Tenemos que mejorartodavía la forma de eva-luar y tratar de incorpo-rar una visión de impacto.

FUDEN

Fuente: KALIDA DE A. Acompañamiento, Calidad yDesarrollo (2007): Diagnóstico sobre las prácticasevaluativas de las ONGD en Euskadi. Bilbao,Noviembre de 2007 en el marco del ProyectoEVALUAcción. Generando cultura evaluativa entrelas ONGD vascas.

* Ver Entrevistas Cualitativas en las páginas 75-124 del Diagnósticosobre las prácticas evaluativas de las ONGD en Euskadi.

Algunos aprendizajes que destacanlas experiencias en la parte cualitativa*.

25

4. Sobre las RAZONES PARA NO EVALUAR

CONCLUSIONES Y APRENDIZAJES DEL ANÁLISIS

CUANTITATIVO

La falta de recursos económicos, de tiempoy de personal formado son las razones másutilizadas por las ONGD consultadas parajustificar la ausencia de procesos evaluativos.

Otro de los argumentos recurrentes para noevaluar, tanto en el Norte como en el Sur, esque las ONGD no tienen hábito de trabajarpor objetivos y procesos y están más cen-tradas en las acciones a corto plazo.

En el caso específico de las intervencionesque se realizan en el Norte, como otras delas limitaciones evidenciadas se encuentranlas resistencias que se producen, a nivelinterno, en las ONGD vascas, la falta de ase-soramiento técnico y acompañamiento enestos procesos y el hecho de que no siem-pre sea exigida por las entidades financiado-ras.

En las acciones realizadas en el Sur, sedetectan limitaciones relacionadas con pro-blemas de comunicación y coordinación conlas contrapartes, la inexistencia de protoco-los y sistemas estandarizados de validación ylas dificultades para obtener datos fiablescuando el trabajo se realiza en condicionesdesfavorables.

A nivel organizacional se detectan limitacio-nes centradas en la falta de sensibilidad yformación de los órganos de gobierno de lasONGD que no consideran la evaluacióncomo prioritaria, la configuración por áreasde las ONGD y la escasez de mecanismosintegrales e integrados en el sistema de ges-tión de la organización y en los modos derelacionarse con las personas o agentes queintervienen en el proceso.

Para reducir estas limitaciones y resistencias,se propone mecanismos para la implanta-

ción de sistemas estandarizados de evalua-ción, formación específica para las y los tra-bajadores de las ONGD, incrementar losfondos e incorporar un servicio de acompa-ñamiento y asesoría.

CONCLUSIONES Y APRENDIZAJES DEL ANÁLISIS

CUALITATIVO DE LAS 7 EXPERIENCIAS ANALIZADAS

- Las organizaciones creen que falta culturala evaluación, en ocasiones las ONGDestán demasiado vinculadas a acciones decorto plazo.

- Existe cierta falta de hábito de “dar cuen-tas”, cierta permisividad y miedo a ser eva-luados en el sector social.

- Otra dificultad es la priorización de lourgente frente a lo importante.

- No ayuda mucho, según algunas organiza-ciones, la radicalización de los procedi-mientos burocráticos de gestión, pues lle-van mucho tiempo y no permiten tiempo ala reflexión/ evaluación.

- Falta mayor implicación de los donantes,promoviendo experiencias evaluativas.

- Existen resistencias al cambio, que suma-das al desconocimiento de la utilidad de laevaluación, lleva a que muchas organiza-ciones ni se lo planteen.

- Faltan referentes positivos para podercomparar con experiencias exitosas o sig-nificativas (que aporten aprendizaje).

- Es un trabajo adicional al que hay queincorporarle tiempo y recursos, por lo quehay que incorporar voluntad política.

- La falta de recursos (o los bajos recursospara esto) tampoco facilita la incorpora-ción del proceso.

El diagnóstico: ¿Cómo estamos?

26

- La falta de recursos (o los bajosrecursos para esto) tampoco facilita la incor-poración del proceso.

5. ¿Hacia dónde apuntan los RETOS?10 preguntas para el debateDe todo el análisis y reflexión del diagnósticoKALIDA DE A, Acompañamiento, calidad ydesarrollo lanza 10 primeras preguntas parael debate que señalan hacia dónde apuntanlos retos que iremos trabajando a lo largo detodo el proceso de EVALUAcción y que qui-zás sean parte de los desafíos de cada orga-nización:

EN NUESTRA ONGD…¿Deben ser evaluadas todas las intervenciones,

así sean de corto plazo?

¿Qué es antes la evaluación organizacionalo la de productos?

¿Es siempre útil contar con una evaluación externa?

¿Debe ser local o debe participan un agente del Norte?

¿Debe ser obligatoria la socialización de los resultados de la eva-luación a los agentes involucrados,

incluidos los donantes?

¿Se podría contar con un itinerario para la evaluación?

¿Qué enfoque o metodología es más útil en cada caso?

¿Qué categorías/ criterios de análisisson específicas para la evaluación?

¿Debiéramos contar con una batería de categorías para cada inter-vención según su carácter sectorial o transversal?

¿Qué debe contener un protocolo de evaluación?

0

27

2.3. Las Jornadas yConversatorios:Reflexionando sobrecómo estamos… y más

Seguimos en la fase de sensibilización y llega el momento de las Jornadas yconversatorios. Es un momento importante, en el que trabajamos sobre elvalor de la evaluación como proceso e instrumento de mejora y aprendizajepara fortalecernos como organizaciones.

Comenzamos las jornadas con la presentación del DIAGNÓSTICO por parte deZaloa Pérez y Lara González de KALIDA DE A. Acompañamiento, Calidad yDesarrollo con especial énfasis en las conclusiones del mismo*. Era elmomento de devolver y contrastar con los/as participantes el proceso y losresultados del análisis y poder reflexionar conjuntamente a lo largo de ese díay medio con ese punto de arranque.

Asimismo, las 7 ONGD que habían participado en la parte cualitativa del diag-nóstico, presentaron su experiencia en estas jornadas.

En el caso de las experiencias evaluativas sobre fortalecimiento organizacio-nal, las 3 ONGD presentaron su trabajo en el PLENARIO**.

Mª Mar Magallón de ALBOAN presentó su proceso de evaluación estratégicaorganizacional.

María Viadero de Mugarik Gabe presentó su proceso de evaluación internapara la planificación estratégica de la organización.

2.It

iner

ario

:Pas

os d

ados

en

eval

uaci

ón y

apr

endi

zaje

s0* Tanto el documento del Diagnóstico completo como la presentación del mismo en las Jornadas y Conversatorios se puedenconsultar en el DVD que forma parte de la publicación. || ** En el Diagnóstico que puedes encontrar en el DVD de esta publica-ción recogemos las entrevistas cualitativas de las 7 experiencias y las conclusiones y aprendizajes fruto de las mismas, así comoen el capítulo anterior acerca del Diagnóstico del presente documento.

28

Enrique Torrejón de Izan presentó su proce-so de gestión interna del departamento decooperación internacional orientado a laincorporación de la evaluación en dichodepartamento.

En el caso de las experiencias evaluativas deEducación para el Desarrollo y deCooperación Internacional, trabajamos endos TALLERES para favorecer más debate yreflexión colectiva.

En el taller sobre experiencias evaluativas deacciones en el Norte,

Lianella González de Intermón Oxfam pre-sentó el proceso de evaluación del proyecto“Conectando Mundos” desarrollado en cen-tros educativos de Euskadi.

Pilar Oronoz de Zabalketa nos presentó “Elvalor de lo pequeño” en la que nos contabala experiencia de evaluación del Programa deEducación Escolar en la Solidaridad “Ochode cada diez”.

Simultáneamente, en el taller sobre expe-riencias evaluativas de acciones en el Sur,

Míriam Berengué de FISC Euskalherria pre-sentó la experiencia del proyecto “Mejora delas Capacidades productivas y de Calidad deVida de 700 productores en Perú” que estácentrada en el proceso de evaluación queacuerdan con las consultorías externas quesubcontratan.

Pilar Abad, de FUDEN presentó laEvaluación de resultados de mejora en lagestión Socuenf. “Proyecto Mejora de lacontribución de la Sociedad Cubana deenfermería al Proceso de Desarrollo Humanoen Cienfuegos en Cuba”.

En el taller de acciones en el Sur, GloriaCarmona nos presentó unas “Consideracio-nes metodológicas para la evaluación de pro-yectos de desarrollo: aprendizajes de unaexperiencia mexicana” desarrollada por laONG mexicana Coordinación InterregionalFeminista Rural Comaletzin, A.C*.

29

Gloria Carmona Nos presentó algunas con-sideraciones metodológicas para la evalua-ción de proyectos, tomando como referentela autoevaluación que realizaron comoCoordinación Interregional Feminista RuralComaletzin, A. C. del programa de capacita-ción de su Escuela Nacional de Formación deDirigentas Campesinas e Indígenas, dirigidoa fortalecer los liderazgos de mujeres ruralese indígenas en México, a través de una meto-dología de capacitación concebida desdeuna perspectiva de educación popular queconsidera el género, la clase y la etnia.

Se propusieron evaluar la incidencia socialdel programa en cuanto a avances de lasmujeres en la adquisición y desarrollo decapacidades y el impacto de estos aprendi-zajes en los distintos ámbitos de su vida.También se propusieron evaluar el propioprograma en cuanto al diseño de la escuela,los módulos y los materiales utilizados.

Desde la práctica evaluativa de Comaletzin,nos planteó varios desafíos teóricos de laevaluación así como cuestiones metodológi-cas, junto a los aprendizajes prácticos,impactos y acciones fruto de dicha evalua-ción.

En la MESA REDONDA de las Jornadas tuvi-mos tres invitadas que, tal y como planifica-mos en el proyecto, nos compartieron susreflexiones y prácticas en Evaluación en elNorte y en el Sur . Puedes acceder a lasponencias en el DVD ajunto que forma partede esta publicación.

Olga Nirenberg* Nos presentó una ponenciasobre Evaluación y Desarrollo de lasOrganizaciones. Define la evaluación comouna “actividad programada de reflexiónsobre la acción que se lleva a cabo medianteprocedimientos sistemáticos de recolección,análisis e interpretación de información ycomparación contra parámetros definidospara emitir juicios valorativos fundamentados

y comunicables sobre actividades, produc-tos, efectos, impacto y recomendacionespara tomar decisiones que permitan ajustarla acción presente y mejorar la acción futura”.

A lo largo de la ponencia profundizó en estadefinición, destacando que promueve elempoderamiento, la democratización y laconstrucción de ciudadanía. Asimismo,expuso aspectos clave como la importanciade la intersubjetividad entre diversos sujetoscon distintos puntos de vista y en ello juegaun papel fundamental la triangulación de locuantitativo, cualitativo, actores, técnicas,etc. Desarrolló su teoría de las organizacio-nes inteligentes como aquellas entidadesorientadas al aprendizaje, con capacidad deadaptación, creativas, etc. en las que la eva-luación orientada a las mejoras se constituyeen una herramienta poderosa. Expuso quéaspectos a evaluar de las organizaciones ypor último, destacó una cuestión clave: losaspectos éticos a tener en cuenta en las eva-luaciones.

Kaitie Wright-Rebolledo* Su ponencia giróen torno a: “Monitoreo y Evaluación:¿Discurso o realidad?”

De los debates y prácticas actuales sobremonitoreo y evaluación reflexiona de maneracrítica sobre las distintas motivaciones e inte-reses que se dan detrás de ellos y lanza lapregunta de si se está priorizando la tecnifi-cación y demostración de impactos frente aldesafío político, la mejora y el aprendizaje.Desarrolla la teoría del monitoreo y evalua-ción auténticos y expone el resultado de lainvestigación del INTRAC (InternationalTraining and Research Centre) sobre lasbarreras para un monitoreo y evaluaciónauténticos.

Presentó asimismo ejemplos de buenasprácticas en monitoreo y evaluación y unprotocolo desarrollado por la Universidad deBath (Reino Unido) para que los datos cuali-

Las Jornadas y Conversatorios* Se puede acceder a las ponecias de Olga Niremberg, GloriaCarmona y Kaitie Wright-Rebolledo en el DVD adjunto a esta publica-ción..

30

tativos sean tomados en serio y sean creí-bles en una realidad en la que se da mayorimportancia a lo cuantitativo y existe la nece-sidad de argumentar y objetivar sobre laimportancia de lo cualitativo.

Adèlie de Miguel Nos presenta la evaluaciónenmarcada en los procesos de Educaciónpara el Desarrollo. Plantea las preguntasclave a hacerse en una evaluación enEducación para el Desarrollo, los distintostipos de prácticas evaluativas que existen ylas dificultades que se dan en ellas.

Destaca una serie de tensiones que se pro-ducen en la práctica evaluativa- debido a queexisten visiones distintas del desarrollo, dela sociedad, de la educación y de la evalua-ción- que es necesario considerar e integrar:objetividad-subjetividad, externo-interno,resultados-proceso, cuantitativo-cualitativo,control-aprendizaje, cambio individual-cam-bio colectivo.

Expone una serie de recomendaciones yconclusiones para la evaluación enEducación para el Desarrollo y plantea laconstrucción de un marco específico deevaluación desde la Educación para elDesarrollo caracterizado por una mirada sis-témica de la evaluación, la integración deprocesos de educación popular y por evaluarla capacidad de autonomía y empoderamien-to de la ciudadanía.

En la ciudad de Donostia-San Sebastián tuvolugar un Conversatorio en el que una lluvio-sa tarde reflexionamos y dialogamos sobre eldiagnóstico elaborado por KALIDA DE A.Acompañamiento, Calidad y Desarrollo,sobre la práctica y reflexión con OlgaNirenberg y la experiencia de evaluación deComaletzin con Gloria Carmona.

APRENDIZAJES DE LASJORNADAS Una cuestión importante de este momento-y de todo el proceso de EVALUAcción- hasido reflexionar acerca de las experienciaspresentadas. Por eso, las tres entidades pro-motoras del proyecto, lanzamos las siguien-tes preguntas a los/as participantes en lostalleres de experiencias en el Norte y en elSur.

¿Qué APRENDIZAJESsobre evaluación obtenemos?¿Cómo podemos concretarlosen nuestras organizaciones?

¿Cuáles son los desafíos?

Asimismo, al finalizar las jornadas, los/asparticipantes completaron un cuestionariode evaluación en el que también destacaronlos aprendizajes sobre evaluación tras haberparticipado en el Diagnóstico y las Jornadas,es decir, en la fase de sensibilización deEVALUAcción.

Los aprendizajes que los/as participantescompartieron fueron muchos y variados. Loshemos ordenado en 4 grupos temáticosclave:

1 Aprendizajes sobre la MOTIVA-CIÓN para evaluar

2 Aprendizajes sobre CÓMO ENTEN-DEMOS la evaluación

3 Aprendizajes sobre las PRÁCTICASEVALUATIVAS DESARROLLADAS

4 Aprendizajes sobre la INTERRE-LACIÓN CON OTRAS ORGANIZA-CIONES Y EXPERIENCIAS

Posteriormente, recogemos algunas ideas delos/as participantes sobre CÓMO CONCRE-TAR dichos aprendizajes en las organizacio-nes y qué DESAFÍOS se encuentran paraello.

31

1. Aprendizajes sobre la MOTIVACIÓNpara evaluar

• Es fundamental la voluntad de que-rer hacer evaluación. La evaluacióndebe surgir de un interés real demejora de la entidad, ser productode una decisión política de la enti-dad y no ser impuesta.

• Se destaca la necesidad de realizarun trabajo interno en las organiza-ciones para motivar a los/as pro-pios/as compañeros/as sobre lanecesidad y utilidad de los proce-sos de evaluación para que ésta sepueda valorar colectivamente. Porello, es necesario crear interna-mente en la ONG la cultura evalua-tiva a muy diferentes niveles.

• Es importante ir creando mentali-dad evaluativa y si no existe unacultura evaluativa previa, no sepuede plantear hacer grandes eva-

luaciones. Se necesita tiempo, irpoco a poco.

• Existe un interés real en la evalua-ción entre las ONG y no respondetanto a la exigencia de los financia-dores (otra cosa es que luego sepa-mos cómo hacerla).

• La formación juega un papel impor-tante en la motivación y en la pues-ta en práctica de la evaluación.

• Evitar la arrogancia de creer quenuestras acciones tienen, por símismas y exclusivamente, impactosimportantes.

2. Aprendizajes sobre CÓMO ENTEN-DEMOS la evaluación

• Es importante afrontar el reto dedefinir el concepto de evaluación,fijar criterios y consensuarlos,especialmente con las diversascontrapartes.

Las Jornadas y Conversatorios

32

• Una definición de evaluación: seña-lar, estimar el valor de algo, orienta-da a conocer la desviación de laacción prevista y la acción resultan-te. La evaluación también se entien-de como un proceso orientado agenerar conocimiento y mejorarlas actividades.

• No olvidar que la evaluación es uninstrumento, no el fin de lo quehacemos.

• La evaluación no debe entendersecomo una acción puntual sino quetendría que asumirse como algoque forma parte de la culturaorganizacional de la organización.Tenemos que descubrir la impor-tancia de hacer evaluación y valo-rarla de manera colectiva.

• La evaluación es reflejo de lamanera en que se entiende laEducación para el Desarrollo. Hay

ideología de evaluación como hayideología de educación.

• Hay una relación entre evaluación ydiagnóstico, ya que éste se consi-dera una evaluación ex ante o pre-via a la acción. Así, se puede hacerevaluación con carácter previo a laacción y posterior a la acción.

• Es necesario valorar conjuntamen-te el tipo de evaluación que sequiere realizar y establecer buenaslíneas de base para hacer evalua-ción. Es importante unificar len-guajes e instrumentos con lascontrapartes.

• A la hora de llevar a cabo las meto-dologías diseñadas para la evalua-ción, hay que ser flexibles y estarrevisándolas continuamente parasaber si la metodología y los proce-dimientos diseñados están sirvien-do a la gente y no viceversa.

33

Las Jornadas y Conversatorios

PARA QUÉ evaluar• La evaluación puede tener distintos

planteamientos y objetivos. • Es clave conceder a la evaluación la

importancia que tiene como proce-so generador de aprendizajes paramejorar y para ello se hace necesa-rio reflexionar de forma conjunta.

• La evaluación ha de servir para pla-nificar y contribuir a generar capa-cidades locales.

• La evaluación debe servir paradetectar dificultades e identificarretos, así como para crear e incor-porar aprendizajes que repercutanen el cumplimiento de la Misión.

• Evaluar para aprender y para noso-tros/as con el grupo objetivo. Nopara financiadores.

• Es importante la evaluación paracambiar las actitudes y el compor-tamiento que exige la movilizaciónsocial. Es necesario medir elimpacto final en transformaciónsocial y es necesario medir losimpactos para influir en el cambiosocial.

• La evaluación contribuye a analizarlas necesidades para respondercon cambios útiles y operativos enel tejido social. De la evaluacióndependen nuestros resultados futu-ros.

PARA HACER evaluación, además dequerer...

• Es necesario delimitar los criteriosdesde los que se va a evaluar y con-sensuarlos en la organización, conlas contrapartes, buscar apoyo enotras organizaciones con expe-riencia evaluativa y buscar unamayor formación en técnicas yherramientas.

• Es fundamental garantizar espaciosde participación en el proceso eva-luativo.

• Es clave una buena identificaciónprevia para una buena evaluación.

CÓMO ha de SER Y CÓMO HA DEHACERSE la evaluación

• Es importante la valoración colecti-va de los equipos, consensuar y“negociar” la evaluación a realizar,el tipo de evaluación, personas,tiempos… Hay preguntas que hayque hacerse antes. Debe ser plani-ficada y sencilla, adecuada al tipode entidad y a los/as beneficia-rios/as y requiere de asignación derecursos (económicos y humanos)y dedicación de tiempo. Es necesa-rio ir evaluando en base a las prio-ridades. Según tareas o momentospueden ser sencillas, más amplias,completas.

• Es necesario reconocer una mayorimportancia a los valores y a lacreatividad sobre el tecnicismo y la“búsqueda de recetas”.

• Es importante evaluar el impac-to/efecto pensando en misión yvalores.

• Conviene contar con una línea debase, realizar diagnósticos paraevaluar el punto de partida de nues-tro trabajo de cara a futuras evalua-ciones.

• La evaluación ha de estar integradaen el Plan Estratégico.

• Es importante realizar evaluacionesde distintos niveles de profundiza-ción. Así, se pueden realizar eva-luaciones pequeñas o más ampliasen función de los momentos o acti-vidades y se pueden evaluar pro-gramas y proyectos concretos, enfunción de la importancia. Es nece-sario diferenciar entre niveles eva-luativos como el seguimiento-eva-luación, la evaluación macro ymicro, la evaluación continua yespecífica, etc. y considerar la eva-

34 luación como una actividad especí-fica dentro del proyecto con susrecursos, medios, costes, etc.

• La evaluación ha de ser coherentecon la Educación para el Desarrollo.La planeación, la participación ylos procesos de reflexión de lasorganizaciones son una oportuni-dad para aplicar la evaluación, paraintroducir sistemas continuos.

• Es necesaria la formación en meto-dología de evaluación e investiga-ción.

• A la hora de plantear un procesoevaluativo buscar la simplicidad,que no la simpleza. Tratar deencontrar y/o crear implementarherramientas participativas y diná-micas, prácticas y creativas senci-llas y manejables. Se pueden apro-vechar herramientas que ya existen(además de crear otras nuevas) yaprendizajes de otras organizacio-nes. Asimismo, se destaca la nece-sidad de pasar de indicadores deactividad a indicadores de impactoy aprender a hacerlos.

• En el proceso de evaluación, hayque tener en cuenta los momentosinformales de evaluación (momen-

tos de distensión). Es importantetambién hacer atractiva la evalua-ción y para ello es clave la creativi-dad.

QUIÉNES y CON QUIÉN• La evaluación ha de ser participati-

va y se debe incluir a todos losagentes (también trabajo en red).Es importante dar protagonismo alas y los participantes en el proce-so. Las opiniones, sugerencias ocríticas que vengan del exterior sir-ven para el análisis evaluativo.

• La participación y el trabajo colec-tivo son claves en los procesos deevaluación. Se requiere de la parti-cipación de los/as propios/asbeneficiarios/as en todas las eta-pas de los proyectos (identifica-ción, ejecución, seguimiento, eva-luación).

• Es necesario y fundamental buscarla participación real de todos/aslos/as implicados/as en el proce-so. La apropiación por su parteserá no sólo de los resultados de laevaluación sino de la posterior pla-nificación y construcción de estra-tegias.

35

Las Jornadas y Conversatorios

• Los financiadores también debensumarse a este esfuerzo de trans-parencia y rendición de cuentas yno sólo dar cifras acerca del desti-no de los fondos.

QUÉ HACER CON la evaluaciónHay que socializar las evaluaciones con susconclusiones pero con miras a mejorar, ahacer crítica y generar nuevos debates.

3. Aprendizajes sobre las PRÁCTICASEVALUATIVAS DESARROLLADAS

• Hacemos más evaluación de lo quecreemos. Hacer evaluación decosas pequeñitas, de actividades,de parte de las actividades sirve,también es importante.

• Se puede evaluar también a nivel deproyecto educativo de centro paraconocer “algo” sobre el impacto alargo-medio plazo.

• En el ámbito de la educación for-mal, es importante que el alumna-do sea el principal protagonista enlas evaluaciones de nuestrosesfuerzos y conocer a través detalleres y/o encuentros con él susimpresiones e inquietudes y luegodevolver al profesorado eseimpacto, esos aprendizajes de caraa que tomen fuerza para seguir tra-bajando la Educación para elDesarrollo.

• Funcionar con una lógica de proce-so y contar con un Plan Estratégicoayuda a implementar la evaluación.

4. Aprendizajes sobre la INTERRELACIÓNcon otras organizaciones y experiencias

• Es importante conocer el trabajo deotras organizaciones (por ejemplo,el caso belga de desarrollo de unsistema de evaluación de coopera-ción en estas jornadas).

• Las plataformas y el trabajo en redson útiles para conocer experien-

cias, herramientas y aprendizajesde otras organizaciones. Muchosestamos en momentos similares ypodemos aprender los unos de losotros. A ello contribuye el trabajoen red.

• Necesitamos reflexionar de mane-ra colectiva sobre nuestras prácti-cas evaluativas.

• Una de las claves del impacto es eltrabajo en red, por lo que fomentar-lo nos va a permitir analizar elimpacto a largo plazo.

¿CÓMO se pueden CONCRETAR estosaprendizajes EN LAS ORGANIZACIONES?

• Dedicando tiempos y recursospara las evaluaciones.

• Midiendo el esfuerzo (personas ytiempo) necesario para comprobarsi dicho esfuerzo merece la pena.

• Teniendo en cuenta la experienciay el trabajo previo que se ha hechoen el proceso educativo.

• Realizando evaluaciones con conte-nidos diferenciados y de calidad.

DESAFÍOS• Conceder a la evaluación la impor-

tancia que tiene como procesogenerador de aprendizajes.

• Que haya voluntad institucional.• Incorporar la evaluación en todos

los procesos del Plan Estratégicode forma transversal.

• Cómo preparar una evaluaciónexterna para que tenga mayorimpacto y sea pertinente, cuando elevaluador externo desconoce elterreno.

• Consensuar la evaluación con lacontraparte.

• Sistematizar lo cualitativo.• Contar con personas y tiempo, así

como con financiación externa.• Realizar evaluaciones con conteni-

dos innovadores y de calidad.

36

0• Buscar herramientas de sistemati-

zación y preparar indicadores devaloración.

• Convencer a los centros educativosde hacer evaluación.

• Poner en marcha procesos evalua-tivos y ver cómo dotar a las ONGDde recursos e instrumentos deapoyo a procesos evaluativos másestructurados.

• Que las financiadoras cuenten conun sistema más integral de evalua-ción de impacto en la CooperaciónInternacional y la Educación para elDesarrollo que llevan a cabo.

• “Me voy con preguntas e inquietu-des sobre diferentes aspectos de laevaluación”.

Con estos aprendizajes y desafíos cerra-mos la etapa de SENSIBILIZACIÓN deEVALUAcción en la que se trabajó sobre el“cómo estamos” con el Diagnóstico y refle-xionamos sobre ello, intercambiamos expe-riencias, etc. en las Jornadas. La mayoría delos aprendizajes giran en torno al concepto yla puesta en marcha de evaluaciones. Estopuede ser por el tipo de conclusiones delDiagnóstico, por los contenidos trabajadosen las Jornadas o por la situación en la queestaban las ONGD respecto a la evaluaciónen ese momento.

¿Qué nuevos aprendizajes se generarán eneste recorrido de EVALUAcción? Los vemosen los siguientes capítulos. El siguiente, es elde FORMACIÓN.

37

2.4. La Formación: ¿Cómopodríamos estar?

Llegamos a la FORMACIÓN. Momento importante también, conectado con lasfases anteriores y posteriores del proceso de EVALUAcción. El objetivo quenos propusimos las organizaciones para esta formación teórico práctica eragenerar una cultura evaluativa entre las organizaciones participantes que per-mitiera ir identificando la evaluación como un proceso estratégico en las orga-nizaciones y como un elemento transversal y participativo de toda intervenciónsocial y del desarrollo.

Por eso nos propusimos concretar la formación en:

• Conocer diferentes enfoques y herramientas.• Presentar diferentes itinerarios.• Compartir experiencias.• Elaborar aprendizajes y recomendaciones colectivas útiles para el

futuro.

El curso estuvo basado en una metodología participativa que combinó el traba-jo en equipos con exposiciones en plenario. Así se complementaban las apor-taciones de los y las facilitadoras con las experiencias concretas de las perso-nas participantes.

El nombre que las tres entidades promotoras del proyecto pusimos a esta for-mación fue “La EVALUAcción: una propuesta para el fortalecimiento institucio-nal basada en el aprendizaje”. Y lo estructuramos, teniendo en cuenta las con-clusiones del diagnóstico y las jornadas, en varios módulos. Los contenidos yla bibliografía de cada módulo se pueden consultar en el DVD de esta publica-

2.It

iner

ario

:Pas

os d

ados

en

eval

uaci

ón y

apr

endi

zaje

s

38

ción, así como gran cantidad de materialesque empleamos en la formación y que pro-pusimos a modo de consulta.

El módulo 1 fue EL PUNTO DE PARTIDA. Elitinerario de la evaluación: conceptos yconsensos. El objetivo fue reflexionar con lasONGD vascas sobre conceptos y herramien-tas que permitan la generación de sistemasde evaluación, sobre todo en el ámbito orga-nizacional. El módulo fue facilitado por LaraGonzález (KALIDA DE A. Acompañamiento,calidad y desarrollo).

En el módulo 2 trabajamos la PROPUESTAPARA LA EVALUACIÓN DE PRODUCTOSORGANIZATIVOS y lo subdividimos en dosmódulos:

El Módulo 2. A. sobre Educación para elDesarrollo. El objetivo fue conocer y refle-xionar sobre el concepto y las distintasmaneras de plantear la evaluación enEducación para el Desarrollo para fortalecercapacidades, recuperando y reflexionandodesde las propias prácticas. Fue facilitado

por Fernando Altamira y Esther Canarias(Iniciativas de Cooperación y Desarrollo).

El Módulo 2. B. sobre Cooperación alDesarrollo y Acción Humanitaria

El objetivo del módulo 2B fue desarrollar deforma práctica enfoques y herramientas parala evaluación de proyectos de cooperaciónen el Sur desde itinerarios participativos. Elmódulo fue facilitado por Paz Caínzos y LaraGonzález (KALIDA DE A. Acompañamiento,Calidad y Desarrollo).

El módulo 3 lo destinamos a la EVALUACIÓNde la formación: Conclusiones para mejo-rar. El objetivo era evaluar colectivamente elproceso de formación para intercambiarentre los participantes y generar conclusio-nes de aprendizaje y fue facilitado porIniciativas de Cooperación y Desarrollo.

Para ello reconstruimos colectivamente elproceso y los temas de la formación, cons-truimos la herramienta para evaluarla e iden-tificamos puntos fuertes, débiles y aprendi-zajes.

39

La formación: ¿Cómo podríamos estar?

APRENDIZAJES DE LAFORMACIÓNUna de las preguntas del cuestionario queelaboramos colectivamente entre los/as par-ticipantes en la formación y los/as facilitado-res/as de la misma para evaluar la formaciónhacía referencia precisamente a los aprendi-zajes:

¿Qué cuatro aprendizajes destaco de entrelos que me llevo de esta formación?

Las ONG que compartieron sus aprendizajessobre la formación fueron:

• CEAR Euskadi• Círculo Solidario Euskadi• FUDEN • InteRed Euskal Herria• Intermón Oxfam• medicusmundi Bizkaia• Mugarik Gabe

Sus aprendizajes los hemos ordenado endos bloques temáticos:

1 Aprendizajes sobre la MOTIVA-CIÓN para evaluar.

2 Aprendizajes sobre CÓMO ENTEN-DEMOS la evaluación.

1. Aprendizajes sobre la MOTIVACIÓNpara evaluar

• Es motivador darnos cuenta de queevaluamos más de lo que pensá-bamos y que, en algunas cosas,estamos bien encaminadas.

• Es importante darse cuenta de lanecesidad de evaluar y por eso laevaluación deberá partir de un aná-lisis y convicción previa.

• Tener claros los conceptos básicospara un proceso de evaluación ytoda la reflexión realizada contribu-ye a tener la evaluación más pre-sente para poder ir implementán-dola poco a poco.

• No hay que tener miedo a la eva-luación.

• Sin EVALUAR, no hay logros paraCELEBRAR.

40

2. Aprendizajes sobre el CÓMO ENTENDEMOS la evaluación

QUÉ ES la evaluaciónLa evaluación es algo sistémico e integrado en la acción. No es un añadido. De esta mane-ra de entender la evaluación se evita que sea una “carga”.

TIPOS de evaluaciónExisten distintos tipos de evaluación entre los que podemos elegir. Se destaca especialmen-te la evaluación con perspectiva de género. Es necesario combinar enfoques y de ser flexi-bles para poder hacer una buena evaluación.

PARA QUÉ evaluar• La evaluación debe servir para generar e incorporar aprendizajes a nuestro trabajo

para mejorar, para tomar decisiones adecuadas, etc.• Es importante socializar las evaluaciones y sus aprendizajes y sistematizar los pro-

cesos evaluativos aunque nos parezcan poca cosa (ya lo decía Galeano… son cosaschiquitas…).

DESDE DÓNDE evaluar• Los criterios de evaluación -el “desde donde” nos situamos y vamos a evaluar- son

fundamentales en la evaluación y es importante definirlos y acordarlos previamen-te.

• Las dimensiones de la Educación para el Desarrollo además de ser un marco dereferencia, se pueden integrar de una forma concreta en la práctica como criteriosde evaluación.

QUÉ evaluar• Hay mucho que evaluar, pero no podemos ni tenemos que evaluar todo. Es impor-

tante priorizar y a ello puede ayudarnos segmentar la evaluación. • Es importante la evaluación en procesos organizacionales, por ejemplo, en desem-

peño de personal.

CÓMO evaluar • La evaluación deberá ser planificada y decidida previamente.• Es importante acordar con claridad siempre qué se quiere evaluar, para qué, con

quién, desde dónde (el enfoque, los criterios), cuándo, cómo, cuánto, por qué eva-luar. Estas grandes preguntas están relacionadas con la elaboración de los térmi-nos de referencia y hay que invertir tiempo en diseñarlos.

• Hemos aprendido la visión global de un proceso de evaluación, un esquema clarode los pasos a dar, la manera de preparar cada etapa del proceso, qué preguntar-nos en cada momento, qué mirar... modos concretos de hacerlo que pueden ayu-dar a contagiar a otros.

• Cómo se pueden medir los criterios de la OCDE, qué categorías se sitúan bajo cadauno de ellos, cómo puede haber categorías que sean más transversales, el papel dela matriz de acceso y control para ver la eficiencia; la elaboración de categorías,criterios, etc.

41

• Es importante la triangulación de participantes, técnicas, fuentes pri-marias y secundarias.

• Trabajar de manera coherente con las metodologías de Educaciónpara el Desarrollo facilita muchísimo la evaluación.

• Saber “a quién” recurrir para implementar “qué” es un recurso parala evaluación.

• Las herramientas que cada cual ya tiene elaboradas pueden ser unpunto de partida para avanzar en la evaluación.

• Existe una gran relación y utilidad de la sociología para afrontar elproceso evaluativo (métodos y técnicas de investigación…, etc.)

• La metodología de educación popular es valiosa para procesos deevaluación.

• Es necesario utilizar herramientas creativas.• Para evaluar podemos contar con herramientas concretas como la

entrevista de “evaluación de desempeño”, el flujograma, el cronogra-ma, el diagrama de afinidades, los rituales de socialización, los térmi-nos de referencia, DAFO, el Diagrama de Venn y un largo etc.También con herramientas de recogida de datos: entrevista, observa-ción directa como fuentes directas e indirectas. Todas son adecuadaspara empezar a desarrollar evaluaciones.

• La metodología utilizada en la formación también es para mí un apren-dizaje.

QUIÉNES y CON QUIÉNES• La evaluación deberá ser lo más participativa posible y para ello habrá

que emplear nuevos métodos. Esto no implica que todo el mundotenga que participar en todo momento y en la misma forma en la eva-luación.

• Es importante que exista un equipo evaluador definido.

Estos son los aprendizajes de la etapa de FORMACIÓN de EVALUAcción. Deentre ellos, destacan en cantidad los relativos a cómo entendemos la evalua-ción y en concreto al “cómo evaluar”. Puede deberse a que la formación fuemuy práctica y que respondió a esa búsqueda de las organizaciones que mani-festaban en los aprendizajes y desafíos de las Jornadas.

Veamos ahora qué pasó en la siguiente etapa: el ACOMPAÑAMIENTO.

La formación: ¿Cómo podríamos estar?

0

42

Hasta este momento os hemos contado el “cómo estamos” a través delDiagnóstico, hemos profundizado en ello y conocido otras experiencias de lamano de las Jornadas y el Conversatorio y hemos conocido “cómo podemosestar” en el tema de la evaluación con la Formación.

Llega el momento de experimentar y para ello, propusimos en el proyecto unacompañamiento para la elaboración de los protocolos de evaluación que fue-ran útiles para las ONG y que a su vez fueran susceptibles de ser compartidoscon otras ONGD e instituciones públicas. El acompañamiento suponía unrefuerzo tras la formación para la incorporación de prácticas evaluativassobre aspectos organizativos, de cooperación internacional y de educaciónpara el desarrollo.

Las organizaciones que habían participado en la Formación y que estaban inte-resadas en el acompañamiento enviaron dentro de un plazo sus propuestas. Ylos acompañamientos quedaron de la siguiente manera:

EVALUACIÓN A NIVEL ORGANIZACIONAL

ALBOAN - Avanzando hacia el diseño de un sistema de eva-luación organizacional.

CEAR-Euskadi - Diseño de criterios de evaluación ampliosa partir de los cuales evaluar el Plan Estratégico.

2.5. El Acompañamiento:Experimentando

2.It

iner

ario

:Pas

os d

ados

en

eval

uaci

ón y

apr

endi

zaje

s

43

El Acompañamiento: Experimentando

EVALUACIÓN EN COOPERACIÓN INTERNACIONAL

FUDEN - Elaboración del Plan de Evaluación del proyecto“Mejora de la contribución de la sociedad Cubana deEnfermería al Proceso de Desarrollo Humano enCienfuegos”.

EVALUACIÓN EN EDUCACIÓN PARA EL DESARROLLO

Círculo Solidario Euskadi - Creación de una herramienta macro propiapara la evaluación interna del Departamento de Sensibilización,Comunicación y Educación para el Desarrollo y para los/as partici-pantes de los proyectos de ED y Sensibilización.

medicusmundi Bizkaia - Elaboración de los criterios de evaluación delos proyectos de Educación para el Desarrollo.

Fruto de esta experiencia hay unas Memorias de cada acompañamiento en lasque se recoge el proceso, la metodología, herramientas, productos, aprendiza-jes que podéis consultar en el DVD.

A continuación os presentamos los 5 acompañamientos vividos por estas 5organizaciones así como los aprendizajes que dichas organizaciones destacandel proceso.

000

44

ALBOANALBOAN quería avanzar un proceso orientadoa la creación de un sistema de evaluación orga-nizacional y para ello ha contado con la facilita-ción de KALIDA DE A. Acompaña-miento,Calidad y Desarrollo*. En ese proceso inicial, sedefinieron varios resultados a alcanzar:

1.Que ALBOAN dispusiera de una defi-nición propia de evaluación.

2.Disponer de un autodiagnóstico quediera cuenta de los procesos y herra-mientas que ya existen, así como delas necesidades de la organización enevaluación.

3.Definir el índice o esquema principaldel posible Sistema de evaluaciónorganizacional que ALBOAN deseaformular a futuro, así como delimitarposibles herramientas que haganparte del mismo.

4.En lo posible, revisar y validar losindicadores establecidos en el proce-so de planificación estratégica de laorganización (proceso a realizar enoctubre de 2008).

5.Tener apoyo para Revisar y actualizarlas herramientas existentes para laevaluación de proyectos y programasdel departamento de cooperacióninternacional.

Una vez que ALBOAN conformó su equipo deevaluación y tras algunos acuerdos sobre lasprioridades (se realizaron algunas reunionesprevias), el proceso se ha articulado en dos par-tes. Por un lado el proceso más organizacional ypor otro, la resolución de algunas cuestionesprácticas vinculadas a la evaluación de progra-mas del Área de cooperación internacional.

El proceso del acompañamiento se desarrollóde la siguiente manera:

1.Primera reunión: Encuentro y delimi-tación del proceso entre ALBOAN y

KALIDA DE A. Acompañamiento,Calidad y Desarrollo.

2.Trabajo interno de ambas organiza-ciones: Elaboración del plan de traba-jo y configuración del equipo.

3.Segunda Reunión: con las represen-tantes del equipo de cooperacióninternacional para revisar herramien-tas de evaluación de proyectos y pro-poner pautas para categorías, indica-dores y herramientas para Programas,así como pautas para un proceso eva-luativo y elaboración del plan de traba-jo de evaluación.

4.1er. taller: Revisamos el concepto deevaluación en ALBOAN, (para elloconstruimos la casa de ALBOAN convisión de procesos), realizar un repasoa los modelos de evaluación organiza-cional para disponer de pistas que nospermitan elaborar el de ALBOAN yconstruir una batería de categoríaspara realizar el autodiagnóstico enevaluación.

5.Trabajo interno: Realización por partede ALBOAN del autodiagnóstico, pre-sentación a toda la organización yestablecimiento de pautas para incor-porarlo al Plan Estratégico en elabora-ción. Revisión avances.

6.2º taller: Socialización del diagnósti-co. Categorías e indicadores del siste-ma. Se socializaron los avances y setrabajaron categorías e indicadoresque pudieran ser parte del sistema deevaluación, basado en procesos.

7. Trabajo interno: Elaboración de nue-vas categorías y herramientas para susistema por parte del equipo de eva-luación de ALBOAN, establecimientodel plan de trabajo sobre evaluaciónpara incorporar al plan estratégico ysu desarrollo en los próximos años.Elaboración de indicadores comple-mentarios para el plan estratégico.

8.Revisión de avances, cierre.

* En el DVD que forma parte de esta publicación, se puede acceder a la memoria realizada por ALBOAN y KALIDA DE A. Acompañamiento, Calidady Desarrollo en la que se describe en qué ha consistido el acompañamiento, quiénes han participado, pasos que se han dado y procedimiento utili-zado, los productos finales elaborados y los aprendizajes para la ONG del proceso de acompañamiento.

ALBOAN

45

El Acompañamiento: Experimentando

ALBOAN9.Elaboración del informe de la expe-

riencia entre ALBOAN y KALIDA DE A.Acompañamiento, Calidad y Desarrollo.

Los productos finalizados en este procesoson:

• la propuesta de definición de evalua-ción para ALBOAN.

• el mapa de procesos y trabajo deALBOAN.

• el autodiagnóstico para procesos yáreas de ALBOAN.

En proceso de elaboración se encuentra el dise-ño del plan de evaluación y de las pistas a inte-grar en el plan estratégico de la organización.

Principales aprendizajes para ALBOAN delproceso de acompañamiento:La valoración general que hacemos de este pro-ceso es muy positiva. La consultoría y acompa-ñamiento permiten a cada organización centrar-se en sus cuestiones prioritarias y adecuar elproceso a las necesidades, ritmo y situación decada institución. En nuestro caso, este acompa-ñamiento nos ha posibilitado avanzar en unterreno en el que constatamos una debilidadinstitucional. Sin embargo, es importante desta-car también la necesidad de disponer de plazosmayores para poder abarcar y profundizar en lascuestiones que se plantean.

A continuación se señalan los aportes más rele-vantes que este proceso ha supuesto paraALBOAN:

• El establecimiento de un equipo detrabajo multiárea para abordar deforma global la evaluación enALBOAN. El equipo se creó a raíz dela fase de acompañamiento y en elfuturo será quien lidere el diseño eimplementación de un sistema deevaluación en la organización.

• La definición del término evaluaciónpara ALBOAN. Esta cuestión es fun-damental para establecer un sistemade evaluación institucional. En estosmomentos, contamos con una defini-ción consensuada por el equipo mul-tiárea de evaluación que se trabajarácon el equipo al completo.

• El equipo ha adquirido una formaciónbásica sobre los sistemas de evalua-ción y está familiarizado con la termi-nología. Esto facilitará considerable-mente el trabajo posterior.

• La elaboración de un autodiagnósticoque refleja la realidad de la organiza-ción y supone un importante puntode partida para diseñar un sistema deevaluación ajustado a ella.

• La incorporación de la evaluación alos procesos de trabajo. ALBOAN vacaminando hacia la gestión por proce-sos en aquellos que sean estratégicospara la organización. La incorporaciónde la evaluación como parte de estosprocesos facilita el trabajo en estalínea.

• La visibilización, dentro de ALBOAN,de la apuesta institucional por estetema mediante la creación del equipo,los recursos destinados y las deman-das a las áreas.

• La profundización en los indicadoresque ya tenemos y la definición dealgunos que nos permitan avanzar enla medición de resultados relaciona-dos con procesos, calidad, participa-ción…

Fuente: Memoria del acompañamiento a ALBOAN: “Avanzandohacia el diseño de un sistema de evaluación organizacional”.ALBOAN y KALIDA DE A. Acompañamiento, Calidad y Desarrollo enel marco del proyecto EVALUAcción, Generando cultura evaluativaentre las ONGD vascas

46

*En el DVD adjunto se puede acceder al documento del proceso de acompañamiento de CEAR-Euskadi en el que se describe en qué ha consistidoel acompañamiento, quiénes han participado, pasos que se han dado y procedimiento utilizado, los productos finales elaborados y los aprendizajespara la ONG del proceso de acompañamiento.

CEAR-EUSKADICEAR-Euskadi consideró que la alternativa másviable para el proceso de acompañamiento seríadiseñar unos criterios de evaluación amplios apartir de los cuales evaluar el Plan Estratégico.Estos criterios deberían ser “amplios” dado quetendrían que ser útiles para evaluar las 6 líneasestratégicas definidas en el Plan e incluso parapoder corroborar si los objetivos establecidoseran coherentes con la misión, la visión y losvalores. Como desafío, se planteó la posibilidadde definir algunas herramientas adecuadas para“preguntar” a las y los sujetos implicados. Esteproceso se llevó a cabo con la facilitación deIniciativas de Cooperación y Desarrollo*.

Se conformó el equipo evaluador intentandogarantizar la presencia de las diversas áreas a losefectos de lograr una multidisciplinariedad y unavisión estratégica de la entidad.

El itinerario que se llevó a cabo y los aspectostrabajados fueron los siguientes:

1.Reunión con Iniciativas de Coope-ración y Desarrollo a los efectos de pla-nificar el trabajo.

2.Primer Taller entre Iniciativas deCooperación y Desarrollo y todo elpersonal remunerado de CEAR-Euskadi a los efectos de presentar lapropuesta de trabajo y conformar elequipo evaluador.

3.Segundo Taller de trabajo conIniciativas de Cooperación yDesarrollo; entrega de los materiales;inicio de las acciones (el equipocomienza a formular las preguntas eva-luativas).

4.Primera reunión de trabajo del equipoevaluador, sin la presencia deIniciativas de Cooperación yDesarrollo. Se formulan preguntassobre el “Criterio 5.1. Entorno Local yGlobal”.

5.Segunda reunión del equipo evalua-dor, sin la presencia de Iniciativas deCooperación y Desarrollo. Se formulanpreguntas sobre el “Criterio 5.2.Capacidad: Eje 1. Desarrollo dePersonas y Eje 2. Organización.”

6.Tercer Taller de trabajo con Iniciativasde Cooperación y Desarrollo; puestaen común de lo realizado hasta la fechay planificación de las tareas a realizardesde este momento en adelante.

7. Tercera reunión del equipo evaluador;sin la presencia de Iniciativas deCooperación y Desarrollo. Se formu-lan peguntas sobre el “Criterio 5.2.Capacidad: Eje 3. Calidad y el Eje 4.Relación con el entorno”.

8.Cuarta reunión del equipo evaluador;sin la presencia de Iniciativas deCooperación y Desarrollo. Se formulanpeguntas sobre el “Criterio 5.2.Capacidad: Eje 5. Atención e interven-ción directa: desarrollo integral y Eje 6:Transformación social”.

9.Cuarto Taller de trabajo con Iniciativasde Cooperación y Desarrollo; se vali-da el trabajo realizado; se planteanopciones futuras de trabajo.

10. Elaboración de la memoria del pro-ceso.

Los productos del proceso de acompañamien-to de CEAR – Euskadi son:

• los criterios y categorías para la eva-luación del Plan Estratégico.

• las pautas para la elaboración de pre-guntas sobre criterios y categorías.

• las preguntas para evaluar desde loscriterios y las categorías los 6 ejesdel Plan Estratégico con sus distintaslíneas, así como los valores.

• las pautas metodológicas, de herra-mientas de evaluación y para la pues-ta en marcha del proceso de evalua-ción.

CEAR-EUSKADI

47

Principales aprendizajes para CEAR-Euskadi del proceso de acompañamiento:

• Potencialidades, muchas. A mí meha ayudado a tener una visiónmucho más amplia de la organiza-ción, más integrada de todas laspartes que la componen (enten-diendo partes como personas, pro-gramas, procesos, etc.), y a teneruna visión más crítica también delas potencialidades de la organiza-ción pero también de las debilida-des.

• Implicar a la gente en una cuestiónque no era conocida para todos yque me parece vital o ayuda a quela gente se sienta identificada con laentidad.

• El haber sido un equipo multidisci-plinar te ayuda a ver las distintassituaciones desde diferentes ángu-los y a aprender. Se percibía en laforma de preguntar en las pregun-tas que cada uno tenía su especiali-dad profesional. Cada uno teníainquietudes de valorar lo que le esmás cercano en su trabajo.

• La visión y “posicionamiento”sobre la entidad que te da el traba-jo hecho.

• El propio objetivo es el fortaleci-miento institucional, incluso elpersonal, sentirnos importantes,podemos participar en hacer CEARlo que (“compartidamente”) quere-mos.Si conseguimos trasladar al restode personas esta sensación y granpotencial para conseguir la implica-ción de todos y todas en los dife-

rentes procesos (alguno futuroinminente y trascendental).

• Conocer más a fondo la organiza-ción.

• Capacidad de aumentar la perspec-tiva personal respecto al plan estra-tégico; su utilidad, objetivos...

Desbloquear.Aumento de las habilidades/apti-tudes del equipo en cuanto a lasaportaciones, capacidad de análi-sis/reflexión.Favorecer el sistematizar un sis-tema de evaluación/seguimiento,extrapolable a otros procesos.

• El posible final de todo esto aún seme escapa, pero si sirve para irteniendo los objetivos del Plan lomás claros posible y hacerlo llegaral máximo de gente posible, perfec-to.

• Aunque no hemos acabado con laevaluación, esta dinámica nos hapuesto en marcha y ahora no debe-mos de parar. Además todo el equi-po ha trabajado muy bien.

• El poder tener una visión más claradel Plan estratégico de la entidad.

• Como equipo, aprendemos nuevasformas de trabajo.

• Como entidad, nos miramos deforma global. Estamos iniciando lapreparación del 2º plan casi sin dar-nos cuenta.

Fuente: Memoria del acompañamiento a CEAR-Euskadi:“Organización y evaluación. Fase de acompañamiento para la incorporación de prácticas evaluativas”, CEAR- Euskadi, enel marco del proyecto EVALUAcción, Generando cultura evaluativaentre las ONGD vascas.

El Acompañamiento: Experimentando

CEAR-EUSKADI

CÍRCULOSOLIDARIO

EUSKADI48

*En el DVD adjunto se puede acceder al documento del proceso de acompañamiento de CSE en el que se describe en qué ha consistido el acom-pañamiento, quiénes han participado, pasos que se han dado y procedimiento utilizado, los productos finales elaborados y los aprendizajes para laONG del proceso de acompañamiento.

CÍRCULO SOLIDARIOEUSKADI Círculo Solidario Euskadi centró su acompa-ñamiento en crear su propia herramientamacro para la evaluación interna delDepartamento y para los/as participantes delos proyectos de Educación para elDesarrollo y Sensibilización. Para ello, las 3personas del Departamento de Sensibiliza-ción, Comunicación y Educación para elDesarrollo, a partir de documentos propiosde la organización (concepto de Educaciónpara el Desarrollo, Plan Estratégico,Sistematización de un proyecto deEducación para el Desarrollo, herramientasde seguimiento y evaluación) y del docu-mento de las Dimensiones de la Educaciónpara el Desarrollo, dieron los siguientespasos junto con Iniciativas de Cooperación yDesarrollo*:

1.Definición y alcance del procesode acompañamiento conjuntamen-te entre Círculo Solidario Euskadi eIniciativas de Cooperación yDesarrollo. Propuesta del plan detrabajo.

2.Reflexión sobre las motivacionespara evaluar y los CRITERIOS deevaluación de Círculo SolidarioEuskadi. Acuerdo entre todas laspersonas del Departamento de loscriterios a emplear y su contenido:dimensión política, dimensiónpedagógica, dimensión cultural,género, Sur, innovación continua,eficacia y eficiencia.

3.Elaboración de los ELEMENTOSde análisis propios de CírculoSolidario Euskadi para cada uno delos criterios.

4.A partir de los elementos, cons-trucción de una HERRAMIENTAMACRO para evaluar.

5.En la herramienta aparecen tam-bién PREGUNTAS e INDICADO-RES para evaluar tanto los proyec-tos como el propio Departamentode Sensibilización, Comunicación yEducación para el Desarrollo.

6.Itinerario para los procesos de eva-luación (la espiral de la evaluación):pasos a dar en un proceso de eva-luación.

7. Pautas para analizar y reelaborarHERRAMIENTAS para el segui-miento (durante) y la evaluación(posterior) de los proyectos.

8.Elaboración de la memoria del pro-ceso.

Para ello, se realizaron cuatro talleres de tra-bajo entre el equipo de Círculo SolidarioEuskadi e Iniciativas de Cooperación yDesarrollo. Asimismo, hubo varios momen-tos de trabajo interno del propio equipodurante todo el acompañamiento.

Los productos finalizados del proceso deacompañamiento de Círculo SolidarioEuskadi son:

• la reflexión sobre la motivaciónpara la evaluación.

• la reflexión y el acuerdo sobre loscriterios de evaluación en ED paraCírculo Solidario Euskadi.

• la elaboración de los elementos deanálisis a tener en cuenta paraevaluar desde esos criterios.

• los indicadores y preguntas paraevaluar proyectos de ED y el pro-pio departamento.

• el itinerario – guía para procesosde evaluación.

En proceso se halla la revisión de algunosindicadores de la dimensión cultural y deinnovación continua.

CÍRCULOSOLIDARIO

EUSKADI49

El Acompañamiento: Experimentando

Principales aprendizajes para CÍRCULOSOLIDARIO EUSKADI del proceso deacompañamiento:

• Los documentos de los que dispo-nemos en la organización ofrecenmuchas posibilidades, puesto quesi se releen con diferentes clavesdesde diferentes posiciones y situa-ciones, en este caso en clave deevaluación, los contenidos de losmismos se resignifican, adquierendiferentes significados, y permitensacar diferentes análisis y conclu-siones.

• Para tener conceptos claros ycompartidos es necesario y muyimportante reflexionar y definir losconceptos que utilizamos en nues-tro día a día de manera colectiva,con nuestro propio lenguaje.

• Es importante partir de “lo quesomos” para elaborar documentosnuevos, de esta forma incluimosnuestro quehacer y bagaje comoorganización en lo que estamos ela-borando. Sacamos teoría de nues-tra experiencia práctica y el resulta-do son documentos que tienen otradimensión, mucho más cercana alo que es CSE.

• El acompañamiento ha facilitadoasentar y hacer más manejables

(aterrizar) los contenidos tratadosen la formación de EVALUAcción.

• Nos ha permitido conocer el itine-rario de evaluación de primeramano y ahora tenemos mayor cla-ridad respecto a los pasos quehemos de dar en un proceso deevaluación (Itinerario de evalua-ción) y lo que conlleva un procesode este tipo.

• Durante este proceso de acompa-ñamiento nos hemos liberado y nohemos pensado la evaluación como“justificación para dar cuenta de losresultados a los financiadores”.Hemos puesto nuestro esfuerzo enelaborar y pensar qué tipo de eva-luaciones queremos realizar comoDepartamento de Sensibilización,Comunicación y Educación para elDesarrollo, desde qué criterios,teniendo muy presente que estostienen que ser propios, sin pensaren lo que “hay que presentar” o“quiere” la administración.

Fuente: Memoria del acompañamiento a Círculo Solidario Euskadi:“Educación para el Desarrollo y evaluación. Fase de acompañamien-to para la incorporación de prácticas evaluativas”, Círculo solidarioEuskadi, en el marco del proyecto EVALUAcción, Generando culturaevaluativa entre las ONGD vascas.

50

FUDENSu acompañamiento consistió en la elabora-ción del Plan de Evaluación del proyecto“Mejora de la contribución de la sociedadCubana de Enfermería al Proceso deDesarrollo Humano en Cienfuegos”. Para ellose creó un equipo formado por dos personasde FUDEN- Euskadi y una miembro deFUDEN en su sede de Madrid que ha conta-do con la facilitación de KALIDA DE A.Acompañamiento, Calidad y Desarrollo*.En ese proceso inicial, se establecieron lossiguientes resultados:

1.Preparación del Plan de trabajopara la evaluación de las interven-ciones de FUDEN en Cuba (TdR).

2.Ampliación de las capacidades enFUDEN para la elaboración de crite-rios e indicadores de impacto degénero.

3.Diseño y actualización de herra-mientas evaluativas para incorpo-rar a la Evaluación de las interven-ciones en Cuba.

Para alcanzar dichos logros, se estableció eldiseño varias reuniones y 3 talleres:

1.1ª reunión: Encuentro y delimita-ción del proceso.

2.Trabajo interno: elaboración delplan de trabajo, creación del equipode evaluación y preparación de lostalleres.

3.Primer taller: Un taller inicial pararepasar conceptos, itinerario deevaluación y elaborar los términosde referencia de la evaluación (elplan).

4.Trabajo interno: El equipo de eva-luación FUDEN consensua los ele-mentos básicos del plan de trabajo.

5.Segundo taller: Un segundo tallerpara definir las categorías principa-les de dicha evaluación e indicado-

res de impacto de género. Se revi-saron los avances del plan, seresolvieron dudas y se avanzó en eltrabajo de categorías.

6.Trabajo interno: FUDEN avanza enel desarrollo de las categorías deanálisis para la evaluación.

7. Segunda reunión: Se realizan avan-ces y propuestas por parte deKALIDA DE A. Acompañamiento,Calidad y Desarrollo.

8.Tercer taller: Se realiza un últimotaller centrado en el diseño deherramientas para la evaluaciónde las intervenciones de FUDEN enCuba.

9.Trabajo interno: FUDEN desarrollavarias herramientas y hace aportesal documento de plan de trabajo yde categorías. Se diseñan variasherramientas, entrevistas semi-estructuradas, encuestas y obser-vación.

10.Tercera reunión. Revisión deavances.

11.Elaboración de la memoria delproceso.

Paralelo a dichos talleres, el equipo de eva-luación de FUDEN fue trabajando sobre losdistintos temas y adelantando las tareas.

Los productos finalizados de este procesode acompañamiento son:

• el Plan de trabajo de la evaluacióndel proyecto de Cienfuegos, Cuba.

• el Diseño de categorías de análi-sis/instrumentos y fuentes para laevaluación desde los criterios deevaluación con perspectiva degénero.

• el Diseño de herramientas paratrabajo de campo.

En proceso se halla el cierre y concreciónde la visita de campo.

*En el DVD que forma parte de esta publicación, se puede acceder a la memoria realizada por FUDEN y KALIDA DE A. Acompañamiento, Calidad yDesarrollo en la que se describe en qué ha consistido el acompañamiento, quiénes han participado, pasos que se han dado y procedimiento utiliza-do, los productos finales elaborados y los aprendizajes para la ONGD del proceso de acompañamiento.

FUDEN

51

El Acompañamiento: Experimentando

Principales aprendizajes y resultados paraFUDEN del proceso de acompañamiento:

Aprendizajes• A través de las acciones Participa-

tivas de EVALUACIÓN hemosaprendido cómo se pueden mejo-rar los procesos, los proyectos, lasactividades y sobre todo las relacio-nes de trabajo.

• Hemos aprendido cómo se debeimplicar a todas las partes paralograr la complicidad de todos.

• Hemos aprendido cómo realizarinstrumentos de EVALUACIÓN, conperspectiva de género.

Resultados• Hemos realizado, gracias a la total

disponibilidad y ayuda de nuestraacompañante en la penúltima fasedel proyecto (Lara González) todoun instrumento de evaluación parael proyecto de “Mejora de la contri-bución de SOCUENF al desarrollohumano de Cienfuegos”.

• Hemos comenzado el proceso dereflexión, participación y consultadentro de la organización hacia ladescentralización.

• Hemos establecido un protocolo deactuación para la implantación desistemas de evaluación en todos losprocesos y proyectos de ámbitoautonómico.

• Personalmente nos hemos formadoen evaluación. La ayuda, acompa-ñamiento, tutoría y comprensiónque hemos recibido de nuestra

consultora en el proceso de acom-pañamiento (Lara González), nos hadotado de tantas nuevas posibilida-des, capacidades y conocimientosque a lo largo del desarrollo de esteproceso, hemos conseguido ungrado de empoderamiento dentrode la organización, nunca espera-do.

• Pero no sólo nos ha ayudado en eltrabajo en equipo realizado porFUDEN Euskadi. Ha alcanzado unameta fundamental para la organiza-ción: El inicio del proceso de des-centralización del que hemos sidomotor.

• Acabamos de responder a asuntossubjetivos, es muy propio que res-ponda a la importancia que ha teni-do, tiene y tendrá “lo subjetivo” enel acto de aprender, pues como lapropia palabra indica sólo haremosnuestro lo estudiado cuando lo sin-tamos nuestro, apropiándonos delcontenido. En nuestro caso, loaprendido, no puede ceñirse exclu-sivamente a lo cuantitativo, ya quese trata de relaciones humanas ycambio de actitudes y conductaspor lo que el papel de lo subjetivoes el “continente” de lo aprendidoque se puede comparar al “conteni-do”.

Fuente: Memoria del acompañamiento a FUDEN: “En la elaboracióndel Plan de evaluación del proyecto “Mejora de la contribución de lasociedad Cubana de Enfermería al Proceso de Desarrollo Humanoen Cienfuegos”, FUDEN y KALIDA DE A. Acompañamiento, Calidady Desarrollo en el marco del proyecto EVALUAcción, Generando cul-tura evaluativa entre las ONGD vascas

FUDEN

52

medicusmundi BIZKAIA

El acompañamiento de medicusmundiBizkaia se centró en elaborar los criterios deevaluación de los proyectos de Educaciónpara el Desarrollo (ED), a partir del análisisde algunos proyectos concretos de los últi-mos años y de las aportaciones del Equipoevaluador. Para ello dio los siguientes pasosjunto con Iniciativas de Cooperación yDesarrollo*.

medicusmundi Bizkaia deseó que el Equipoevaluador fuera lo más heterogéneo posibley que participaran personas de la organiza-ción con responsabilidades diversas paraque pudieran aportar al proceso y recogeruna mirada interdisciplinar.

El itinerario que se llevó a cabo fue el siguien-te:

1.Delimitación y alcance del procesode acompañamiento conjuntamen-te entre medicusmundi Bizkaia eIniciativas de Cooperación yDesarrollo. Presentación del Plande trabajo.

2.Seleccionar proyectos de ED delos últimos años y revisarlos parapoder elaborar los criterios gene-rales de ED que consideramos quedeberían tener los proyectos deMMB

3.Consensuar criterios. En plenarioel Equipo evaluador consensuóaquellos criterios que le parecíanfundamentales en los proyectos deED. A partir de aquí se elaboró unamatriz propia de ED para medicus-mundi Bizkaia, la cual permitirá eva-luar todos los proyectos de la orga-nización.

4.Elaboración por parte del Equipoevaluador de las preguntas o indi-cadores para concretar dichos cri-terios, que permitirá realizar la valo-

ración de los proyectos de ED demedicusmundi Bizkaia.

5.Contraste de las conclusiones obteni-das y elaborar el informe. Aunquefinalmente no se ha evaluado nin-gún proyecto concreto, la organiza-ción cuenta con un documentovalioso que le va a permitir evaluarlos diferentes proyectos de ED, asícomo elaborar los futuros proyec-tos de ED.

6.Elaboración de la memoria del pro-ceso.

Se llevaron a cabo tres talleres de trabajoentre el equipo de medicusmundi Bizkaia eIniciativas de Cooperación y Desarrollo, asícomo trabajo interno del propio equipodurante todo el acompañamiento.

Los productos del proceso de acompaña-miento de medicusmundi Bizkaia son:

• la revisión y análisis de proyectossignificativos de ED.

• la reflexión y el acuerdo sobre loscriterios de evaluación en ED.

• las preguntas e indicadores paradichos criterios que permitan rea-lizar la valoración de los proyec-tos de ED.

*En el DVD adjunto se puede acceder al documento del proceso de acompañamiento de medicusmundi Bizkaia en el que se describe en qué haconsistido el acompañamiento, quiénes han participado, pasos que se han dado y procedimiento utilizado, los productos finales elaborados y losaprendizajes para la ONG del proceso de acompañamiento.

MEDICUSMUNDI

BIZKAIA

53

Principales aprendizajes paramedicusmundi Bizkaia del proceso deacompañamiento:

• Personalmente he aprendido mu-chísimas cosas. A nivel conceptual,he conocido herramientas como laparrilla de salida, he profundizadoen las Dimensiones de la ED, mehe podido acercar al significado deuna sistematización, los pasos querequiere…

• El poder trabajar con un grupoheterogéneo, con diferentes pun-tos de vista y niveles de implicaciónrespecto a la ED siempre es intere-sante y te muestra otras manerasde ver, en muchas ocasiones teabre los ojos ante cosas que nohabías ni intuido,… el hecho de tra-bajar así ya es un aprendizaje detratar de ponerte en el lugar de otrapersona, de darte cuenta de que loque tú piensas no es la única mane-ra de pensar ni probablemente lamás adecuada, de ver que de estamanera el trabajo realizado es máscompleto…

• También he aprendido un poco mása plasmar en papel tantos concep-tos, ideas, valores… sobre la ED enmedicusmundi Bizkaia. Parece unatontería pero ser capaz de darlenombre a ideas que nunca has

nombrado, incluso darles coheren-cia en conjunto es difícil. Además,el reflexionar sobre esta área me hapermitido conocer más a la asocia-ción y sus proyectos.

• En el proceso de acompañamientohe tenido la oportunidad de cono-cer más del trabajo de Iniciativasde Cooperación y Desarrollo y desu manera de trabajar. Habéis com-partido documentos y conocimien-tos muy prácticos, muy útiles, quese quedan aquí.

• Reflexionar sobre temas y concep-tos que de otra manera no harías yesto siempre es enriquecedor.

• Se resume que es lo que pretendeeste grupo de personas de maneraque si alguien pregunta qué valorestiene medicusmundi Bizkaia siem-pre puedes recurrir a esta lista.

• Tomar confianza en las opinionesde cada uno, cuando alguien lasvalora eso te hace ver que puedespensar y trabajar cosas interesan-tes.

Fuente: Memoria del acompañamiento a medicusmundi Bizkaia:“Educación para el Desarrollo y evaluación. Fase de acompañamien-to para la incorporación de prácticas evaluativas”, medicusmundiBizkaia, en el marco del proyecto EVALUAcción, Generando culturaevaluativa entre las ONGD vascas.

El Acompañamiento: Experimentando

MEDICUSMUNDI

BIZKAIA

g54

Estos son los 5 procesos de acompañamiento deEVALUAcción. Diferentes entre sí pues responden a las dis-tintas realidades, búsquedas y momentos de cada ONG yhan supuesto un impulso importante de la evaluación encada una de ellas. Son varios los aspectos de evaluación enlos que se ha profundizado en cada organización y, comocomentan, trasciende al propio tema de la evaluación yalcanza a las relaciones y dinámicas organizacionales. Y la generación de cultura evaluativa no acaba aquí, conti-nua en las ONG para practicar EVALUAcción.

Y… ¿qué aprendizajes habrá dejado en las ONG haber vivi-do el proceso de EVALUAcción? ¿Qué recomendacionesharían a otras organizaciones para sumarse al carro de laevaluación?.

0LO DESCUBRIMOS EN EL SIGUIENTE CAPÍTULO:

LA SISTEMATIZACIÓN.

55

2.6. La sistematizacióndel proceso: aprendiendode la propia experienciaen Evaluacción

Cuando empezamos a imaginar y planificamos este proyecto entre las tres enti-dades, vimos que tenía un sentido y unos contenidos novedosos ya que laintención era incidir en el fortalecimiento de las ONGD de Euskadi, contribu-yendo a que las ONGD vascas incorporen la evaluación como una prácticatransversal a su quehacer institucional.

Por este motivo, y también como una actividad novedosa, nos pareció impor-tante sistematizar el proceso de EVALUAcción en sus diferentes etapas, conla intención de reflexionar y aprender de él y socializarlo entre las ONGD y lasinstituciones públicas a través de esta publicación. Este proceso de sistemati-zación ha sido facilitado por Iniciativas de Cooperación y Desarrollo.

¿A qué nos referimos cuando hablamos de sistematización? Se trata de proce-so colectivo en el que las ONGD recuperan su práctica y reflexionan sobreella y así obtienen conclusiones y aprendizajes que ayuden a mejorar su prác-tica y compartirla con otras personas y organizaciones.

El objetivo de la sistematización fue descubrir los diferentes NIVELES DEINCIDENCIA que ha podido tener el proyecto en las ONGD participantes encuanto a la generación de cultura evaluativa.

El objeto de esta sistematización fue el proceso de EVALUAcción en sus dife-rentes etapas (diagnóstico, jornadas, conversatorios, formación y acompaña-miento) y, en concreto, la experiencia de las ONGD en relación con la evalua-ción a raíz de su participación en el proyecto de EVALUAcción desde febrerode 2007 a junio de 2008.

2.It

iner

ario

:Pas

os d

ados

en

eval

uaci

ón y

apr

endi

zaje

s

0

56

El eje de la sistematización fueron losAPRENDIZAJES que las ONGD hemos acu-mulado sobre evaluación como organiza-ción a través de las diferentes actividadesrealizadas, tanto por el equipo promotorcomo por las personas participantes en lasmismas.

En este proceso de sistematización hemosparticipado las 3 entidades promotoras de lainiciativa y las ONG que han participado enalgún momento a lo largo de EVALUAcción.En los inicios del proyecto las participantesfueron Organizaciones No Gubernamentalesde Desarrollo pero posteriormente se ampliócon la participación de ONG de más ámbi-tos.

1. Los inicios: definiendo el objetivo,objeto y eje de la sistematización.Comenzamos con un taller las 3 entidadespara aproximarnos al concepto y a los pasosde la sistematización, identificar el objetivo,

objeto y eje y acordar el itinerario y calenda-rio.

2. Los talleres con las ONG: la espiral dela historia, las guías de preguntas críticasy las Conclusiones, Aprendizajes yRecomendaciones.A lo largo de EVALUAcción tuvieron lugar 4talleres con las ONG con 2 contenidos dife-renciados.

Para reconstruir la historia de la evaluaciónen cada organización a raíz de su participa-ción en EVALUAcción y para elaborar colec-tivamente una serie de preguntas críticasque nos sirvieran para la reflexión y análisisposterior se realizaron tres talleres*. Se trata-ba de recuperar lo que había pasado o nohabía pasado en las organizaciones a raíz departicipar en EVALUAcción y realizar pregun-tas sobre ello.

* Se puede consultar al espiral de la historia, las preguntas críticas elaboradas y seleccionadas así como todo el proceso de Sistematización en eldocumento recogido en el DVD adjunto que forma parte de esta publicación elaborado por Fernando Altamira y Esther Canarias (Iniciativas deCooperación y Desarrollo) en el marco del Proyecto EVALUAcción. Generando cultura evaluativa entre las ONGD vascas.

57• Primer taller en enero de 2008:ONG participantes en el diagnósti-co y/o jornadas o conversatorios.

• Segundo taller en marzo de 2008:ONG participantes en el diagnósti-co, jornadas, conversatorios y for-mación.

• Tercer taller en mayo de 2008:ONG participantes en el diagnósti-co, jornadas, conversatorios, for-mación y acompañamiento.

Para la reflexión, la interpretación crítica y laelaboración de conclusiones, aprendizajes yrecomendaciones del proceso realizamos uncuarto taller en junio de 2008. A partir de laselección de las preguntas críticas, las ONGintercambiaron y reflexionaron conjunta-mente sobre la experiencia de EVALUAcción,la generación de prácticas evaluativas en susorganizaciones, la motivación, etc. desde supropia práctica.

3. Los desafíos a futuro.Por último, las 3 entidades promotoras nosjuntamos para reflexionar como equiposobre las conclusiones, aprendizajes y reco-mendaciones de los talleres de sistematiza-ción, elaborar algunos aprendizajes y reco-mendaciones e identificar desafíos de futuro

sobre la evaluación y la generación de cultu-ra evaluativa en las ONG.

Fruto del trabajo, la reflexión y el intercambiocolectivos entre las organizaciones partici-pantes se generaron conclusiones, aprendi-zajes y recomendaciones que presentamos acontinuación. Las del equipo promotor laspresentamos en el capítulo siguiente:“Evaluación para la Acción. Mirando alFuturo”.

La reflexión de fondo y la elaboración deconclusiones, aprendizajes y recomenda-ciones de la sistematización de EVALUAccióngiraron en torno a varios ejes que coincidenbásicamente con los grupos en los que estánordenados los aprendizajes de los demásmomentos de EVALUAcción:

1.La MOTIVACIÓN para participar enEVALUAcción y para evaluar.

2.Cómo ENTENDEMOS la evalua-ción.

3.La GENERACIÓN DE CULTURAEVALUATIVA.

4.La INTERRELACIÓN entre las ONG.5.Las PRÁCTICAS EVALUATIVAS y

CÓMO PONERLAS EN MARCHA. 6.La VALORACIÓN de las prácticas.

La Sistematización del Proceso

58

Los y las participantes en la sistematizacióndel EVALUAcción destacan las siguientesconclusiones, aprendizajes y recomendacio-nes que recogemos a continuación y quepuedes consultar en la versión completa delproceso en el DVD adjunto que forma partede esta publicación:

1. Sobre la MOTIVACIÓN para avanzarhacia una cultura de evaluación

El interés y la motivación de las ONG sobrela evaluación junto con la predisposición y elacompañamiento de las entidades organiza-doras (dando información, llamando a la par-ticipación, siendo flexibles) han facilitado laparticipación en EVALUAcción. Por otro lado,los elementos que han dificultado la partici-pación han sido la falta de tiempo, la dificul-tad para aunar agendas, la realidad interna delas ONG (tamaño pequeño, dispersión geo-gráfica) así como el momento interno queestaban viviendo las ONG (por ejemplo, dereestructuración interna). Todos estos ele-mentos también pueden incidir en la motiva-ción para evaluar en las organizaciones.

Los motivos más importantes para avanzarhacia una cultura de evaluación, son inter-nos a la organización. La motivación radicaen la importancia de evaluar nuestro trabajopara mejorarlo: medir el impacto de nuestrasacciones, saber si lo estamos haciendo bien,aprender de lo que hacemos. Todo ello con-tribuye a dar sentido a nuestro trabajo. Losrecursos de las instituciones públicas contri-

buyen a impulsar los motivos internos por laevaluación.

Aprendizajes• Si hay interés por la evaluación hay

que sacar tiempo para desarrollarla,lo cual supone identificar su rele-vancia en las organizaciones paralas personas y para su trabajo.

• Para que haya motivación y partici-pación es importante tener encuenta la opinión de toda la orga-nización, desde los equipos a ladirección.

• La motivación que empuja a evaluares interna relacionada con los pro-yectos. Tiene que ver con la impor-tancia que damos y tenemos quedar a nuestro fortalecimientocomo organizaciones orientado amejorar.

• En el caso de EVALUAcción, a pesarde la dificultad de escasez de tiem-po, el haber dedicado bastantetiempo en distintos espacios hadado la idea de proceso, de conti-nuidad y eso ha sido positivo.

• Es importante tener una idea previade qué implica participar en el pro-ceso (número de horas de dedica-ción, recursos…) para planificarseen la organización.

• Tener experiencias de evaluación yuna apuesta institucional por ellafavorece y motiva a que haya más.

59

• Conocer otras experiencias contri-buye a darse cuenta de la importan-cia de la evaluación.

• Se pueden utilizar los recursos deotros/as para avanzar.

2. Sobre CÓMO ENTENDEMOS laevaluación

Entre las ONG participantes ha habido cam-bios sobre cómo se entiende y se vive laevaluación. Hay mayor interés y se ve unamayor utilidad, a la vez que se cuenta conmás herramientas. Aún cuando es necesarioque pase más tiempo para que se vea másesa evolución, se destacan los siguientes ele-mentos de cambio:

• Es necesario planificar la evalua-ción, por lo que es importante pen-sarla desde el principio de un pro-yecto.

• La evaluación es un proceso. Unaencuesta por sí misma no suponeun proceso de evaluación, si bienpuede ser una técnica para evaluar.

• Es importante concretar qué sequiere evaluar y más vale pocopero bien.

• Se tiene una visión más positiva dela evaluación: es buena para inno-var y para mejorar.

• Tras el acompañamiento, se tienenmás claros los pasos a dar para unproceso de evaluación.

Aprendizajes• No hay que evaluarlo todo, sino

sólo lo que hace falta. Por eso esnecesario definir el qué evaluar y elpara qué de esa evaluación.

• Tenemos mayor claridad sobre lavisión global de la evaluación, comoproceso, con sus pasos.

• Necesidad de tiempo para ir apren-diendo en evaluación, permitiéndo-nos confundirnos.

• Se necesita una evolución en eva-luación y una evaluación para laevolución.

En las organizaciones puede haber diferen-tes grados y tipos de prácticas evaluativas yque éstas sean de calidad, entendida éstacomo evaluaciones más amplias que la activi-dad concreta y en clave de proceso. Así, nohay un modelo único de evaluación aplicabledirectamente a todas las organizaciones yproyectos, sino que las prácticas evaluativas,tanto a nivel estratégico como operativo, deprocesos y de proyectos, han de adaptarse acada organización y cada evaluación en con-creto (en cuanto a la metodología, el proce-so, el itinerario, los tipos de evaluación, etc.).

Esto se debe a que:• Hay diversidad en las organizacio-

nes y la evaluación hay que adap-tarla a las distintas realidades.

• La evaluación tiene que ser flexible.• La evaluación no ha de ser estática,

sino que tiene que tener su evolu-ción en la organización, adaptándo-se a los intereses y ganando enprofundidad.

Aprendizajes• La evaluación ha de ser adecuada y

coherente con cada organización,con las organizaciones aliadas, conlos grupos de voluntarios/as, con ellenguaje, los instrumentos, lostiempos.

• Ha de ser flexible y adaptarse a losintereses y así se gana en profundi-dad de análisis.

• La sencillez en evaluación es unavirtud, es una habilidad, no afecta ala calidad.

Los aspectos cualitativos y más subjetivosrelacionados con la alegría, la motivación, lasatisfacción, la cultural de la organización,

La Sistematización del Proceso

60

etc. son fundamentales en la motivación, enlas propias prácticas de evaluación y de caraa generar cultura evaluativa.

Al mismo tiempo, hay quien considera difícily complicado hacer valoraciones cualitativasy se comenta que existe falta de herramien-tas para ello, ya que se identifica con hacerevaluaciones de impacto y se cuestiona si loque se está haciendo organizativamente y encada área sirve para algo.

Por otro lado, se considera una cuestiónclave desde la dimensión pedagógica* el eva-luar la creatividad, cómo nos hemos sentido,la alegría con la que trabajamos. Se conside-ra que la confianza en los grupos facilita laevaluación y cuanta más exista mejor, ya quehay más sinceridad, más conocimientossobre el otro/a, etc. Recoger lo cotidiano enla evaluación también es importante. Secomenta que los aspectos subjetivos tam-bién pueden entrar en el propio concepto deevaluación.

3. Sobre la GENERACIÓN de CULTURAevaluativa

La participación en el proceso deEVALUAcción de personas que tienen inci-dencia en la ONG y en el equipo, así como lametodología utilizada en la formación y elacompañamiento y el intercambio entreorganizaciones facilita el TRASLADO YPUESTA EN PRÁCTICA de lo aprendido enEVALUAcción a la organización. Asimismo,la dinámica de reunirse en equipos dentrode la organización facilita el traslado a laorganización y a veces el ponerlo en prácti-ca. Aunque todo lo aprendido no se hayasocializado “formalmente” al resto de laorganización, algunos elementos se han idoincorporando sobre la marcha (en fichas deseguimiento, en la formulación de proyectos,en el plan estratégico). Es fundamental tras-ladar a las organizaciones lo aprendido enEVALUAcción porque si no, se limita a forta-

lecer exclusivamente a las personas que par-ticiparon.

Se destacan como elementos que han difi-cultado el traslado y la puesta en práctica delo aprendido durante el proceso deEVALUAcción la falta de tiempo, el no haberparticipado en todo el proceso y la situa-ción interna (escasa experiencia en evalua-ción de las personas de la organización, laimplicación de los equipos, la estructurainterna) y geográfica de las organizaciones.

Todos estos elementos también inciden en lageneración de cultura evaluativa en las ONG.

Aprendizajes• Facilita el traslado y la puesta en

práctica de la evaluación el que enespacios de sensibilización, forma-ción, reflexión y acompañamientosobre la misma participen personasque tengan posibilidad de incidir enla organización y que estén elmayor número posible de perso-nas de la organización (a más parti-cipación, más traslado).

• Dificulta el traslado y la puesta enpráctica el que la organización novea que es algo para toda la orga-nización y vea que es sólo para unárea.

• Es importante identificar qué trasla-dar (todo no se puede) y quéponer en práctica.

• Es importante que quien vaya atrasladar la evaluación a la organiza-ción sea un equipo identificadocon el proceso.

• Es importante implicar, tener encuenta dentro del proceso de eva-luación a personas “no sensibiliza-das” con ella.

• Implicar a más personas de la orga-nización y convencerlas es clave.

• El tiempo es un factor que afecta.Es una excusa cuando no se está

* Las Dimensiones de análisis de la Educación para el Desarrollo, elaborado por Iniciativas de Cooperación y Desarrollo a partir de Red LocalPolygone. Documento de trabajo. Bilbao, 2007.

61

sensibilizado. Pero no es excusacuando se está sensibilizado y se veque es importante priorizar la eva-luación.

• Es importante planificar la evalua-ción. Y priorizarla.

4. Sobre la INTERRELACIÓN entre las ONG

Dentro del proceso de EVALUAcción (diag-nóstico, jornadas, formación, acompaña-miento y sistematización) ha habido inter-cambio y contraste, más entre personasque entre organizaciones, si bien hubierasido bueno haber tenido más. Hemos llega-do a conocernos y compartir espacios y esaes la base para lo que pueda venir. Hay ganaspara tener esos intercambios. Los ecos, losimpactos no son inmediatos, se necesitatiempo. Puede que en el futuro se dé másintercambio y contraste.

Los intercambios y contrastes han servidopara:

• saber que tenemos un nivel bajo deevaluación y necesitamos trabajarmás.

• para conocer otras experiencias eintercambiar en algunos casosmateriales y herramientas.

• enriquecernos, motivarnos. NosCONSUELA (descubrir que a todasnos queda trabajo para avanzar enevaluación), nos ASUSTA (por loque supone de trabajo) y nos ENRI-QUECE y nos MOTIVA.

En la dinámica del proceso de EVALUAcciónse ha dado importancia al hecho de cono-cernos y ha contribuido a generar algunasrelaciones nuevas. Se ha generado acerca-miento a otras ONG que no conocíamos yreforzamiento de las relaciones ya existen-tes. En algunos casos también se ha dadoese reforzamiento a nivel interno de la orga-nización.

Se destaca que para este tipo de procesos esnecesario dedicar tiempo a la interrelaciónentre personas y organizaciones, tenerlo encuenta y contabilizarlo.

Es clave conocernos en estos espacios enlos que nos escuchamos, nos vemos, com-partimos vivencias, creencias… y podemosreconocernos como compañeras de cami-no. También son importantes para cuidar-nos, reforzarnos... con confianza. Se facilitatambién el intercambio de documentos y deinformación.

Aprendizajes • Poner cara a unas siglas, conocer-

nos, favorece la interrelación eintercambio, el cuidarnos, la con-fianza.

• Aporta mucho y da claves aprenderde otras organizaciones: por ejem-plo, en el mercadillo de herramien-tas en la formación en concreto, enaspectos del proceso en sentidoamplio, para aprovechar herra-mientas, ideas, experiencias… deotros contextos, para ver la evalua-ción de manera sencilla, clara, con-creta, como algo abordable a partirde la experiencia de otras organiza-ciones.

• Hay otras organizaciones que noson de desarrollo con las quecompartimos mucho y que antesno las identificábamos como alia-das.

• Es necesario dar continuidad aespacios de intercambio sobre eva-luación.

5. Sobre las PRÁCTICAS EVALUATIVAS ycómo ponerlas en marcha

En las organizaciones que han participado enEVALUAcción, las ÁREAS de cada una se hanIMPLICADO de diferentes maneras en losmomentos del proceso y se ha promovido

La Sistematización del Proceso

62

su implicación de formas distintas. Se desta-ca que en la implicación de las áreas ha teni-do importancia quién ha participado en elproceso y cómo el proceso repercute deforma directa en la cultura de la organiza-ción.

Para promover la implicación es importanteque se vean en la organización las necesida-des de mejorar en cuanto a las evaluacio-nes que se vienen realizando.

A raíz de la participación en EVALUAcción sehan conseguido unos/as agentes evaluati-vos/as para trabajar en cada organizaciónque van a tener en la cabeza la evaluación.

En este proceso de evaluación han participa-do más mujeres. Surge la pregunta acercade cómo implicar a los hombres y si el plan-teamiento del proceso no se hizo para impli-car a los hombres, teniendo en cuenta suvisión. Se plantea la hipótesis de si aquelloque no tiene consecuencias prácticas tienemenos interés, se ve menos importante porparte de los hombres ya que la evaluación esmás de reflexionar, poner en común, etc.

Ha sido difícil hacer partícipe al Sur que vivetanto en el Norte como en el Sur (no escuestión de distancia geográfica).

Aprendizajes • Las preguntas de “quién va a parti-

cipar, quién se va a implicar…” hayque hacerlas al inicio del procesode evaluación.

• Debería estar implicado el Sur.• Tener en cuenta las necesidades y

cómo responden mujeres y hom-bres: si son las mismas, adelante; sison diferentes, tenerlo en cuenta yadaptar el proceso.

• Buscar canales adecuados paracomunicar en la organización, endistintos espacios de la misma.

• Visibilizar dentro de la organizaciónla necesidad de mejorar en evalua-ción.

• Que existan agentes de evaluación.Ponerle nombre, visibilizarlo, darleimportancia. Se puede empezar pri-mero con gente puntual y despuésque surja un equipo en el que hayauna persona responsable de ello.

• Es importante que estén represen-tadas en un equipo todas lasáreas, tanto quien coordina comoquien forma parte (personas volun-tarias, contratadas, Junta Directiva).

Sobre las CLAVES del proceso deAPROPIACIÓN de la evaluación en las or-ganizaciones se destacan las siguientes:

63

• Es importante plantear la evalua-ción como proceso, en el que tanimportante es el cómo lo hacemoscomo el qué evaluamos.

• La evaluación ha de ser sencilla,fácil de comprender, clara y tam-bién el lenguaje que utilizamos.

• No ha de vivirse como fiscalizadorasino orientada a comprobar queestamos haciendo lo que desea-mos y como deseamos, a saber sivamos por el buen camino.

• Ha de ser propia y hacerse partien-do de cómo somos cada organiza-ción, valorando lo propio, los pro-cesos que ya llevamos haciendodesde hace tiempo. La evaluaciónes algo que de otras maneras yahacíamos.

• La existencia de agentes que velenpor la evaluación dentro de la orga-nización da importancia a la evalua-ción y favorece la aportación a nivelorganizativo.

• En el diseño de los proyectos con-templar la evaluación, definir loscriterios… con carácter previo a lapuesta en marcha.

Aprendizajes• Que la evaluación sea participativa.

Es fundamental escuchar a los/asparticipantes de los proyectos.

• Que salga de la propia organiza-ción, que contemos con lo que ten-gamos y lo enriquezcamos.

• Valorar lo que se ha ido haciendopreviamente.

• En la medida en que es sencillo damás sensación de abordable,menos miedo, más práctico.

• Debe ser un proceso para interiori-zar como organización al igual quelo ha sido para quien participó enEVALUAcción. El tiempo es nece-sario para interiorizar.

• Buscar diferentes canales y mane-ras de presentarlo según quiénqueremos que se apropie. “Hayque ser lista”.

• Motivar formando.• Que exista un equipo de evalua-

ción en el que estén las áreas de laorganización.

Sobre la idea de CONJUGAR la evaluación delo estratégico con lo operativo y los proyec-tos y procesos con los aspectos organiza-cionales se destaca que se puede y se debeconjugar. Hay organizaciones que en elacompañamiento de EVALUAcción han con-jugado la evaluación a nivel estratégico, ope-rativo y personal. Otras aún no lo hemoshecho.

La Sistematización del Proceso

Q

64

En cualquier caso, para conjugar es impor-tante la coherencia entre la evaluación de looperativo y lo estratégico y tener en cuentalos muchos componentes: los contenidos dela evaluación, las personas que van a partici-par, los criterios de evaluación, los instru-mentos (herramientas) que se emplean, etc.Los procesos de calidad en los que, en sucaso, esté la organización pueden ayudar aconjugarlos.

Es fundamental la participación desde el ini-cio de las organizaciones aliadas en los pro-cesos evaluativos operativos y estratégicos,de proyectos y procesos.

Aprendizajes • Se puede y se debe conjugar la

evaluación de procesos y proyec-tos, a nivel organizacional, lo estra-tégico y lo operativo, para que hayacoherencia.

• Tener criterios comunes para eva-luar lo estratégico y lo operativo,los procesos, proyectos y lo orga-nizacional en el Norte y en el Suren función de lo que la entidadquiera ser, hacer y se vea interna-mente.

• Importancia del equipo de evalua-ción, de personas que están en dis-tintas áreas para la evaluación de loestratégico y lo operativo.

• Tener en cuenta la participación delas organizaciones aliadas.

• Preguntarse por la participación delas organizaciones aliadas y de lasáreas. Diseñar cómo participan (enqué momentos, cómo) según loque se quiera evaluar y para qué.

6. Sobre la VALORACIÓN de los efectosde EVALUAcción Desde el punto de vista de los EFECTOS queha tenido el proceso de EVALUAcción en loestratégico y en lo operativo se considera

que han sido positivos y que van más allá delos resultados concretos.

En todas las organizaciones que han partici-pado existe gente implicada con la evalua-ción que podrán actuar como agentes eva-luativos (“evaluactores” y “evaluactrices”).También se cuenta con herramientas prácti-cas para evaluar y en la práctica se ha facili-tado tener la evaluación más presente en eltrabajo diario y transversalizarla. Ahora tene-mos más en cuenta la evaluación en la orga-nización, estamos concienciados/as de quehay que evaluar y cómo hacerlo.

Aprendizajes• Se han dado diversidad de efectos

en función de cada organización:algunas sí han tenidos efectos en loestratégico, otras en lo operativo.En los efectos a nivel estratégico hainfluido el que haya habido acom-pañamiento, por ejemplo, y el queel acompañamiento haya sidosobre lo estratégico.

• En todas las organizaciones se hadado un efecto en lo operativo.

• Desde lo operativo se incide en loestratégico y viceversa.

• Actúes donde actúes en evalua-ción, va ha haber efectos en looperativo y en lo estratégico.

• Para que algo cambie, hay queestudiarlo, evaluarlo.

Los y las participantes de la sistematización,tras haber participado en distintas fases delproceso de EVALUAcción y a partir de lasconclusiones y aprendizajes de la sistemati-zación, respondieron a la siguiente pregunta:

¿Qué RECOMENDACIONES sobre evalua-ción haríamos a otras organizaciones?

Hacer evaluación. Animarse a evaluar. No tenermiedo. Merece la pena.

Revisar qué hacen sobre evaluación y que no sehan dado cuenta.

Planificación previa.

Buscar a una persona responsable de evaluación enla organización, junto con un equipo.

Que el equipo de evaluación sea representativo dela organización.

Incluir un espacio de motivación.

Acotar qué y para qué evaluar.

Tranquilidad ante la evaluación.

No os compliquéis la vida al evaluar. Hacedlosencillo.

Cuidar las relaciones, las actitudes, que hayaalegría, con humor, con ilusión.

Haciendo se aprende.

Confianza.

Compartir lo que se ha hecho.

Buscar apoyo. ¡¡¡No estamos solos/as!!!

y estas son sus recomendaciones…

3.1Sobre la

MOTIVACIÓNpara evaluar

3.2Sobre

CÓMO ENTENDEMOSla evaluación

3.3Sobre

PRÁCTICASEVALUATIVAS

3.4Sobre la

INTERRELACIÓNentre las ONG

3.5Sobre la

VALORACIÓNDE LA PRÁCTICA

pág. 69 pág. 70 pág. 72 pág. 73 pág. 74

Mirando al futuroEvaluación para la Acción

3.4Sobre la

INTERRELACIÓNentre las ONG

3.5Sobre la

VALORACIÓNDE LA PRÁCTICA

2 pág. 73 pág. 74

ón para la Acción

-

Ya hemos recorrido todos los momentos de EVALUAcción. Desde los talleresde enfoque hasta la sistematización, pasando por el diagnóstico, las jornadas yconversatorios, la formación y el acompañamiento. Han sido más de dos añosde recorrido en el que mucho es lo que hemos vivido, reflexionado y aprendi-do con el proceso de EVALUAcción sobre la EVALUACION PARA LA ACCIÓN.

Como equipo promotor del proyecto, queremos plantear algunos trazos miran-do al futuro a partir de esta experiencia común en EVALUAcción. Es una opi-nión más que quiere sumarse a las de las organizaciones que han participadoen este proceso en la apuesta por la evaluación que genera aprendizajes y con-tribuye a mejorar nuestro trabajo por la transformación social*.

Los hemos ordenado en varios bloques temáticos, siguiendo el esquema deanteriores capítulos:

1.Sobre la MOTIVACIÓN para evaluar.2.Sobre CÓMO ENTENDEMOS la evaluación.3.Sobre las PRÁCTICAS evaluativas.4.Sobre la INTERRELACIÓN entre las ONG.5.Sobre la VALORACIÓN de la práctica de EVALUAcción.

68

3. Evaluaciónpara la acción

3.E

valu

ació

n pa

ra l

a ac

ción

*Este capítulo está tomado del documento de Sistematización elaborado por Iniciativas de Cooperación y Desarrollo al que puedes acceder ensu versión completa en el DVD adjunto que forma parte de esta publicación.

69

3.1. SOBRE LA MOTIVACIÓNPARA EVALUARLas organizaciones que se fueron acercandoy participando en EVALUAcción traían uninterés y una curiosidad previa sobre la eva-luación que es fundamental para ir generan-do cultura evaluativa.

Este interés, esta sensibilidad, esta motiva-ción, que quizás partiera de unas pocas per-sonas en cada organización, es importanteque se vaya contagiando. ¿Cómo se conta-gia? Y más aún, ¿cómo se mantiene y crece?Podemos apuntar varias claves:

• Hay que cuidar que la gente estésensibilizada sobre la evaluación ypara ello es bueno trabajarla antesdel proceso de evaluación y duran-te el mismo.

• Es importante ir teniendo prácticasevaluativas y socializarlas, tanto alinterior como al exterior de la orga-nización.

• En la motivación juega un papelimportante el reconocimiento deltiempo de dedicación en procesosevaluativos. Una realidad es que enlas ONG existe la dificultad de lasobrecarga de trabajo y por ello esimportante identificar y reconocerla dedicación de tiempo.

• Es fundamental que la motivación ylos prácticas evaluativas sean parti-cipativas. La participación la enten-demos como esa construccióncolectiva, en donde todo el mundotiene algo que decir, que aportar.

Supone un ejercicio de democraciasustancial, no son unos pocos quie-nes deciden, somos todas y todosquienes tenemos derecho a la pala-bra, a las decisiones. Nuestrasorganizaciones son “escuelas dedemocracia” espacios en los que esposible otra manera de organizarse,otro modelo de sociedad.

• Es importante que la motivaciónpor avanzar en la cultura de evalua-ción esté centrada en la mejora,que la organización tenga una con-ciencia real y clara de querer mejo-rar lo que hace y no se base en laimposición de los donantes o encondicionamientos externos.

A futuro • Que se siga poniendo en práctica la eva-

luación, utilizando herramientas, creandoy aplicando protocolos de evaluación,socializando…

• Que el proceso de evaluación tenga uncomponente de sensibilización previo ydurante los procesos. Que la motivaciónsea un proceso interno y externo.

• Trabajar en las organizaciones para quehaya una motivación clara por mejorar.

• Visibilizar y reconocer la evaluación.Que esté presente en los planes y pro-gramaciones. Y sea reconocida en horasde dedicación.

Evaluación para la acción

k

70

3.2. SOBRE CÓMOENTENDEMOS LAEVALUACIÓNEn el diagnóstico, las ONGD consultadasseñalaron que la evaluación es un procesode análisis crítico de resultados, esencial-mente participativo que busca aprender paramejorar y tomar decisiones. Señalan tambiénque la evaluación debe tener un componen-te de análisis para la aplicación práctica y latoma de decisiones, participando los/asinvolucrados/as.

Se ha dado una evolución en cuanto al con-cepto fruto de la reflexión teórico-práctica delas jornadas y la formación y de la experien-cia del acompañamiento. El vivir la experien-cia en carne propia ha generado el cambio.

Se destaca que la evaluación es un proceso,se tiene más visión de largo plazo, se desta-ca que es participativa funciona mejor, laevaluación genera inquietud, es flexible,adaptable, hay que planificarla para darle lostiempos necesarios para que funcione, gene-ra capacidades, es generadora de cambio, sepueden utilizar metodologías flexibles, lasherramientas de educación popular se pue-den utilizar para cooperación, hay que priori-zar pues todo no es evaluable ni hay que eva-luarlo todo.

A nivel de cómo entendemos la evaluaciónquizás no ha habido tanta evolución, peroentre las ONG que han participado en el pro-yecto, la vivencia de ese concepto y la prác-tica del mismo sí han evolucionado y lagente lo puede aplicar de manera más ampliay flexible, puede compartirlo y trasladarlo aotras personas y organizaciones.

Así, vemos que la evaluación es buena parainnovar para mejorar, para participar, paracohesionar equipo. La evaluación supone unaprendizaje sobre el propio concepto de eva-luación; la propia experiencia de evaluación

lleva a construir el concepto y eso es prácti-co para las organizaciones.

El concepto y la práctica de la evaluación hande estar adaptadas a cada organización.

Es necesario un proceso para que la evalua-ción vaya siendo transversal en la vida delas organizaciones. Ha de ir haciéndose pocoa poco, desde la práctica.

Desde el punto de vista conceptual, la eva-luación tiene un sentido político. La evalua-ción no la entendemos sólo como una cues-tión técnica, como un cúmulo de herramien-tas, sino que la evaluación supone unaapuesta, también por incorporar a la genteque tradicionalmente no participa, suponeuna apertura a intentar romper asimetrías,tanto al interior de las organizaciones como anivel social, con la gente con la que trabaja-mos.

Los aspectos cualitativos pueden y debentener un papel importante en la evaluación,en la que la palabra y la vivencia de diversi-dad de personas y colectivos (muestraamplia de subjetividades) se crucen a travésde distintas técnicas y fuentes (triangulación)y se descubra así la intersubjetividad. Lo cua-litativo sirve y es positivo integrarlo con locuantitativo.

La confianza es un aspecto cualitativo y sub-jetivo importante en la evaluación. Es clavetrabajar la confianza en la gente, en el proce-so y en las prácticas evaluativas.

Recordar la importancia de disfrutar con elproceso, reírse, celebrar lo logros.

Lo cualitativo no es sólo lo experiencial porparte de quien evalúa, lo cualitativo es reco-ger la experiencia del proceso o proyectodesde la visión de quiénes participan, y suvaloración subjetiva que tiene tanta validezcomo la cuantitativa y cuantificable.

71

A futuro• Priorizar la evaluación y qué se quiere

evaluar.

• Vivir la evaluación como aliada para for-talecernos, para mejorar.

• Es importante visualizar la evaluacióncomo un proceso organizativo, coheren-te con los distintos espacios de la organi-zación, pero ir haciéndolo poco a poco.

• Un sistema de evaluación es el asenta-miento de diferentes momentos, espa-cios y procesos de evaluación y se hace

poco a poco, desde la práctica. Para quese pueda construir un sistema hay quepensar de forma global, así se vaya cons-truyendo poco a poco.

• Reconocer la importancia de la subjeti-vidad, de lo cualitativo e integrarlo conlo cuantitativo.

• Trabajar la confianza.

• Disfrutar del proceso.

• Celebrar los logros.

72

3.3. SOBRE LAS PRÁCTICASEVALUATIVAS (EL PROCESODE EVALUACCIÓN EN LASONG)La participación es un elemento clave en unproceso de evaluación. La manera en queesté establecida la dinámica interna de cadaorganización (reuniones, toma de decisio-nes, etc.) afecta a la participación y al trasla-do de aprendizajes.

Destaca la importancia de la formación parair incorporando prácticas evaluativas.

Es importante ir generando participación enla organización en la medida de las posibili-dades. La creación de equipos de evalua-ción integrados en las organizaciones quedinamicen y “velen” por la evaluación ha deser a medida, adaptada a las posibilidades dela organización. No hay formas únicas paradinamizar la evaluación en las organizacionesy ese espacio puede estar en construcción.

El tiempo es un compañero de viaje. Nospresiona (porque hay poco), es catalizadorde muchas cosas, tiene una importanciaclave el que transcurra para que se den cier-tas cosas, etc.

A futuro • Seguir intercambiando, contrastando

prácticas, conociendo experiencias.

• Tener prácticas, equivocarse, generar eincorporar los aprendizajes.

• Ir entendiendo la evaluación como unproceso organizativo de todas las áreasde la organización y que por eso ha dehaber un equipo evaluativo integrado queimplique a toda la organización.

• Ese equipo integrado se responsabilizaráde la evaluación, ha de ser representati-vo (hombres, mujeres, áreas, técni-cos/as, directivos/as...), participativo,que canalice de manera participativa elflujo de formación sobre evaluación yresultados de la misma. No es el quehace evaluación, sino que es un equipocanal y red.

• Que la incorporación de la evaluación secorresponda con la realidad y las posibi-lidades de la organización.

• Hacer cierto seguimiento al trabajo deevaluación, posibilitar compartir expe-riencias de evaluación en el futuro, tantoen el Norte como en el Sur.

• Para manejar la escasez de tiempo, nopedirle demasiado a cada momento, alproceso de evaluación…La cantidad, laamplitud, la exigencia en evaluación noson sinónimo de un proceso más valiosoy potente porque el proceso más adecua-do a la realidad y sus posibilidades, aun-que sea menos ambicioso, es el mejor enese momento.

• Otro desafío importante en evaluación esla sencillez, que la gente no viva el pro-ceso como algo complejo. Q

73

3.4. SOBRE LAINTERRELACIÓN ENTRE LASONGEVALUAcción se concibió desde un principiocomo un proceso en el que la participaciónde las ONG era fundamental y en el queaspectos subjetivos como la motivación, elconocerse, la relación previa o generadadurante el proceso tenían un papel clave.

El intercambio y la interrelación entre lasorganizaciones reducen miedos a compartiry a ser fiscalizadas y promueve la socializa-ción de procesos de evaluación y de losresultados que ha habido.

La motivación mutua, saber que otras orga-nizaciones están en ello, intercambiar expe-

riencias es importante para seguir adelantecon la cultura evaluativa.

Intercambiar y cruzar experiencias de eva-luación y compartir aprendizajes de proce-sos de evaluación nos pueden permitir iracercándonos a evaluar el impacto de nues-tro trabajo.

A futuro• Trasladar a otros espacios ya existentes

el intercambio que se ha dado enEVALUAcción.

• Es importante que en el futuro se denmomentos de intercambio y contraste deexperiencias, por ejemplo, en los espa-cios de coordinación y relación entreONG.

Evaluacción para la Acción

74

3.5 SOBRE LA VALORACIÓNDE LA PRÁCTICA DEEVALUACCIÓN

El proceso de EVALUAcción no ha dejadoindiferentes a las organizaciones participan-tes. Ha movido el piso de las organizaciones,ha generado motivación, puede que en algúncaso rechazo… en cualquier caso, la evalua-ción está más “en la calle”, en el sector delas ONGD y en cada organización en sentidopositivo.

Hay más conocimiento de lo que se hace yno se hace en evaluación a través del diag-nóstico y se conocen más experiencias.

En las ONG hay más gente sensibilizada ymás formada en evaluación, no sólo a raízde EVALUAcción, sino porque se habla másde la evaluación.

Se han iniciado procesos participativos deevaluación a través del acompañamiento,con impacto en lo organizacional.

Los procesos evaluativos influyen en todoslos niveles: lo operativo en lo estratégico, loestratégico en lo operativo.

Para generar efectos es clave la socializaciónentre las ONGD y con otras entidades.

A futuro: Para lograr más efectos:

• Ir teniendo prácticas evaluativas• Que los agentes de evaluación en

las organizaciones dinamicen prac-ticas evaluativas

• Aprovechar espacios para el inter-cambio de prácticas...

0Y DENTRO DE 2 AÑOS REENCONTRARNOS.

Este proyecto no habría sido posible sin la participación de las

siguientes organizaciones y personas:

DIAGNÓSTICO

• Coordinadora de ONGD de Euskadi y delegaciones

territoriales.

• Consejo de Cooperación del Ayuntamiento de

Bilbao.

• Las siguientes ONGD miembros de la Coordinadora

y/o del Consejo:

– ADECO

– ADRA

– AMS- ACTIVOS POR UN MUNDO SOLIDARIO

– ANESVAD

– ASOC. AFRICANISTA MANUEL IRADIER

– ASOC. AMIGOS DE LA RASD-ARABA

– ASOC. AMIGOS DE LA RASD-BIZKAIA

– ASOC. EUSKADI CUBA

– AYUDA MAS

– BATEGINEZ

– BULTZAPEN

– CALCUTAN ONDOAN

– CARITAS

– CARITAS BIZKAIA

– CIRCULO SOLIDARIO DE EUSKADI

– COORDINADORA

– EDEX

– SOLIVE

– EKIALDE

– EMAUS FUNDACION SOCIAL

– FISC EUSKAL HERRIA

– FORO RURAL MUNDIAL

– FUNDACION ALBOAN

– FUNDACION DE LA CULTURA FISC

– FUNDESO

– GIPUZKOA

– HARRESIAK APURTUZ

– HEGOA

– HUANCAVELICA

– INGENIERIA SIN FRONTERAS

– INTERED EUSKALHERRIA

– INTERMON-OXFAM

– IQUITANZ

– IZAN

– JOVENES DEL TERCER MUNDO

– KIDENDA

– LEONEKIN

– MANOS UNIDAS

– MEDICOS DEL MUNDO

– MEDICUS MUNDI GIPUZKOA

– MUGARIK GABE

– OSCARTE

– PAZ Y SOLIDARIDAD

– PROCLADE

– ROSALUS

– PROYDE-PROEGA

– PTM

– PUEBLOS HERMANOS

– SERSO

– SETEM HEGO HAIZEA

– SOLIDARIDAD INTERNACIONAL

– TAU FUNDACION

– UNESCO

– ZABALTEKA

– ZUBIAK EGINEZ

Destacamos especialmente la participación de las 7 organizacio-

nes que participaron en el análisis cualitativo del diagnóstico:

ALBOAN, FISC, FUDEN, IZAN, INTERMON OXFAM, MUGARIK

GABE y ZABALKETA.

JORNADAS Y CONVERSATORIO

Exposición del Diagnóstico:

• Zaloa Pérez y Lara González.

KALIDA DE A. Acompañamiento, Calidad y Desarrollo.

76

Agradecimientos

77

Experiencias

• Gloria Carmona. Coordinación Interregional

Feminista Rural Comaletzin, A. C.

• Mª Mar Magallón. ALBOAN.

• Míriam Berengué. FISC.

• Pilar Abad. FUDEN.

• Enrique Torrejón. Izan.

• Lianella González. Intermón Oxfam.

• María Viadero. Mugarik Gabe.

• Pilar Oronoz. Zabalketa.

Mesa Redonda

• Olga Nirenberg. Universidad de Buenos Aires Y

Centro de Apoyo al Desarrollo Local (CEADEL),

Argentina. .

• Kaitie Wright-Rebolledo. INTRAC y Universidad de

Bath, Gran Bretaña.

• Adèlie de Miguel. ITECO, Centro de Formación para

el desarrollo, Bélgica.

Gracias también a Oihulari Klown.

Y a todas personas de las siguientes entidades que participaron

en todos o en parte de los momentos de las Jornadas: ALBOAN,

Cáritas Diocesana de Oviedo, CEAR-Euskadi, Círculo Solidario

Cantabria, Coordinadora de ONGD de Euskadi, Economistas Sin

Fronteras, ECODE Consultoría, EDEX, Euskadi-Cuba, Euskal

Fondoa, FUDEN, Fundación EDE, FUNDESO, Gobierno Vasco

(Dirección de Cooperación) Honek, InteRed Euskal Herria,

Intermón Oxfam, Izan, Kidenda, Leonekin, Médicos del Mundo,

medicusmundi Bizkaia, Misiones Diocesanas de Bizkaia, Mugarik

Gabe, OSCARTE, PROCLADE, Save the Children, Solidaridad

Internacional y Zabalketa.

FORMACIÓN

• ALBOAN: Marlen Eizaguirre, Ziortza Jiménez, Pilar

Díez y Ainhoa Artetxe.

• CEAR-Euskadi: Natalia Fernández, Raquel Celis e

Itziar Caballero.

• Círculo Solidario Euskadi: Mónica Fernández, Ruth

Quintana, Cecilia von Sanden, Marta Fernández,

Arlett Avelar, Sonia Carrasco y Mercedes de

Madrazo.

• FUDEN: Margarita Aguerrea.

• FUNDESO: Cristina Muñoz.

• InteRed Euskal Herria: Mertxe Digón

• Intermón Oxfam: Lianella González.

• Leonekin: Iratxe Arteagoitia.

• medicusmundi Bizkaia: Carlos Cuervo y Marian

Sanz.

• Mugarik Gabe: Puri Perez e Isabel Tomás.

• KALIDA DE A, Acompañamiento, Calidad y

Desarrollo: Ane Fernández, Gorka Mola y Ainhoa

López.

ACOMPAÑAMIENTO

• ALBOAN: Ainhoa Artetxe, Myriam Artola, María

Guijarro, Mª Mar Magallón, Marlen Eizaguirre,

Ziortza Jiménez.

• CEAR-Euskadi: Iñaqui Ramírez de Olano, Patricia

Bárcena, Jon Solaguren, Itxaso Eguia, Sofía

Abaitua, Beatriz Gorriti, Miguel Navarro, Zigor Gorriti,

Itziar Andetxaga y Natalia Fernández.

• Círculo Solidario Euskadi: Mónica Fernández,

Cecilia Von Sanden y Ruth Quintana.

• FUDEN: Margarita Aguerrea, José Antonio de Léniz

y Ana Polo.

• medicusmundi Bizkaia: Dionisio Mendibil, Javier Gil,

Carlos Cuervo, Julia Laborra, Ana Mari Arregi.

SISTEMATIZACIÓN

• ALBOAN: Ainhoa Artetxe y Mary Tere Guzmán.

• Cáritas Bizkaia: Cristina Gonzalo.

• CEAR-Euskadi: Natalia Fernández e Itziar

Caballero.

• Círculo Solidario Euskadi: Ruth Quintana, Cecilia

Von Sanden, Mónica Fernández, Sonia Carrasco y

Mercedes de Madrazo.

• Euskadi-Cuba: Mila Acea.

• FISC: Míriam Berengué.

• FUDEN: Margarita Aguerrea y José Antonio de

Léniz.

• InteRed Euskal Herria: Mertxe Digón.

• Intermón Oxfam: Lianella González.

• Leonekin: Iratxe Arteagoitia.

• medicusmundi Bizkaia: Julia Laborra.

• Mugarik Gabe: Puri Pérez e Isabel Tomás.

• Zabalketa: Pilar Oronoz.