obra social. l’Ànima de ”la caixa”. · 2009-11-30 · 9 enfortir, en les seves activitats,...

2

OBRA SOCIAL. L’ÀNIMA De ”LA CAIXA”.

3

RePeNSANT eL SeGUIMeNT I L’AVALUACIÓ eN LeS ONGD eSPANYOLeS

Reptes i tendències de futur en un entorn canviant

«No n’hi ha prou amb somiar.Cal saber com s’ha de fer»

Charles Baudelaire

EDICIÓ:

Obra Social Fundación ”la Caixa”

Autors I coordInAcIó:

Institut d’Innovació social d’EsAdE

Mar cordobés

Maria Iglesias

Beatriz sanz

corrEccIó:

Manners

MAQuEtAcIó:

Publicacionestécnicas.com

© de l’edició, Fundació ”la caixa”, 2009

Av. diagonal, 621 – 08028 Barcelona

d.L.B.: 40.377-08

5

Preàmbul

Pròleg

Sigles i acrònims

Introducció

Capítol 1: un entorn canviant que obliga a repensar el valor afegit de les ongd: cap a un nou rol i mandat per a les ongd?

1. Reflexions entorn del valor afegit de les ongd

2. El nou entorn de la cooperació al desenvolupament

2.1. Canvis en el context internacional

2.2. Evolució dels paradigmes i les agendes de desenvolupament

2.3. Canvis en l’arquitectura de l’ajuda

3. Conclusions i impacte en l’agenda de seguiment i avaluació de les ongd

Índex

pàg. 9

pàg. 11

pàg. 13

pàg. 15

pàg. 20

pàg. 22

pàg. 24

pàg. 25

pàg. 31

pàg. 34

pàg. 38

6

3.1. Pistes per a la construcció d’una nova visió de les ongd

3.2. Impacte en els sistemes de seguiment i avaluació

Capítol 2: aproximació als sistemes de seguiment i avaluació a les ongd espanyoles

1. El marc institucional i jurídic

1.1. El nou entorn politicoadministratiu en l’àmbit de la cooperació al desenvolupament

1.2. La cultura del pressupost en l’administració pública espanyola

1.3. La multiplicitat d’actors en la cooperació espanyola

1.4. L’evolució de l’actitud de la societat i les empreses envers les ongd

1.5. Conclusions i impacte en l’agenda d’intervenció i els mecanismes de seguiment i avaluació de les ongd espanyoles

2. Una aproximació breu al seguiment i l’avaluació a les ongd espanyoles

2.1. Sobre la cultura de seguiment i avaluació a les ongd espanyoles

pàg. 39

pàg. 46

pàg. 48

pàg. 51

pàg. 51

pàg. 57

pàg. 59

pàg. 61

pàg. 63

pàg. 67

pàg. 70

7

2.2. Característiques dels sistemes de seguiment i avaluació a les ongd espanyoles

2.3. Motivacions i objectius de l’avaluació i el seguiment a les ongd espanyoles

Capítol 3: Tendències actuals en matèria de seguiment i avaluació

1. Per què i per a què fem seguiment i avaluem

1.1. Causes de la dificultat de conjugar la rendició de comptes i l’aprenentatge organitzatiu en els processos de seguiment i avaluació

1.2. Altres barreres a l’aprenentatge organitzatiu. Més enllà de la tensió entre rendició de comptes i aprenentatge

1.3. L’aprenentatge com a objectiu dels processos de seguiment i avaluació

2. Què, per a qui i com seguim i avaluem

2.1. Què seguim i avaluem

2.2. Per a qui s’avalua: cap a un enfocament democràtic de l’avaluació

2.3. Com: nous instruments i metodologies per al seguiment i l’avaluació

pàg. 74

pàg. 81

pàg. 83

pàg. 86

pàg. 89

pàg. 100

pàg. 111

pàg. 116

pàg. 118

pàg. 162

pàg. 173

8

4. Conclusions: Cap a una cultura valorativa orientada a l’aprenentatge

1. Aprenentatges per compartir amb les ongd

2. Aprenentatges per compartir amb el sector públic i els donants

5. Bibliografia

pàg. 185

pàg. 192

pàg. 202

pàg. 209

9

enfortir, en les seves activitats, la contribució que fan per construir un món més just i sos-tenible. Amb aquest propòsit, l’Institut gene-ra i divulga coneixement i aporta formació en els àmbits de la responsabilitat social empre-sarial, l’ètica de les organitzacions, la gestió de les ong i la col.laboració entre aquestes i les empreses.

Totes dues institucions col.laboren des de fa anys en l’àmbit de la docència i la investiga-ció aplicada, en un esforç compartit per con-tribuir al reforç de capacitats de les persones i organitzacions del tercer sector comprome-ses amb la cooperació al desenvolupament. La publicació que teniu a les mans neix preci-sament del treball de reflexió conjunta fet al llarg d’aquests anys, i de la constatació que el seguiment i l’avaluació constitueixen factors clau per a l’aprenentatge personal i de les or-ganitzacions. Concebuda de manera «híbrida», la publica-ció ha estat pensada per contribuir a un do-ble objectiu, reflexiu o analític, d’una banda, i propositiu o en clau de manual, de l’altra; i proposa un conjunt de reflexions, anàlisis i també propostes concretes que poden ajudar

des del 1997, l’Obra Social ”la Caixa” se suma al compromís solidari de contribuir a eradicar la pobresa als països d’Àfrica, Àsia i l’Amèrica Llatina, tot donant prioritat als col.lectius més vulnerables. Aquest compromís es materialitza en el suport a iniciatives naci-onals i internacionals de justícia social innova-dores, de qualitat i que incentiven la participa-ció local. En l’àmbit de la sensibilització sobre les realitats dels països en vies de desenvo-lupament, el programa impulsa noves formes de diàleg social a través de conferències i seminaris i, apropant-se a les noves genera-cions, ofereix activitats que contribueixen a educar en una cultura de pau i tolerància, amb els objectius de desenvolupament del Mil.lenni com a referència. Així mateix, mitjan-çant la realització de cursos de formació en matèria de gestió interna i en acció humani-tària, el programa vol contribuir a la millora de la qualitat i l’eficàcia de les intervencions dels agents remunerats i voluntaris que treballen en aquest sector.

d’altra banda, l’Institut d’Innovació Social d’ESAdE té com a objectiu desenvolupar les capacitats de les persones i les organitzaci-ons dels sectors empresarial i no lucratiu per

Preàmbul

10

per millorar la qualitat, en termes de rellevàn-cia, eficàcia, eficiència, sostenibilitat i impac-te, dels seus programes.

a millorar els sistemes de seguiment i ava-luació de les ongd espanyoles, per avançar d’aquesta manera en el repte central del seu aprenentatge; un aprenentatge que és clau

11

d’ongd espanyoles en són conscients i in-tenten adaptar-se als nous desafiaments que tenen al davant. Les organitzacions més res-ponsables i conscients ho fan a partir d’una revisió seriosa de la seva missió i les seves capacitats, i amb un diàleg amb les poblaci-ons i les persones amb les quals treballen.

En els últims dotze anys, les persones que treballem i col.laborem amb l’Institut d’Inno-vació Social d’ESAdE hem acompanyat les ongd espanyoles i hem après amb elles. Ho hem fet amb jornades, cursos, llibres i publi-cacions, en temes que tenen a veure amb la gestió i l’enfortiment institucional de les orga-nitzacions; sempre amb la clara convicció que la gestió ofereix eines, però tenint en compte que les organitzacions les formen persones que actuen per millorar la qualitat de vida d’al-tres persones.

Quan hem explicat gestió, ho hem fet a partir de la idea que el cicle de gestió estratègica de qualsevol organització el formen tres ele-ments: la planificació, la posada en marxa i l’avaluació. Històricament, la majoria d’ongd espanyoles han posat molt l’atenció en la pla-nificació i l’execució, i s’han oblidat de l’ava-

Integrar el seguiment i l’avaluació per facilitar l’aprenentatge

«Fins fa vint o trenta anys, la pobresa era fruit de la injustícia. Ho denunciava l’es-querra, ho admetia el centre, rares vegades ho negava la dreta. Els temps han canviat molt i en molt poc temps: ara la pobresa és el càstig just que mereix la ineficiència, o simplement és una manera d’expressió de l’ordre natural de les coses. La pobresa pot merèixer llàstima, però ja no provoca indignació: hi ha pobres per llei de joc o per fatalitat del destí.»

Eduardo galeano, Noticia de los Nadies

Són temps de mudança, de canvis, d’apren-dre i desaprendre el camí fet. I són canvis que, malauradament, any rere any ens porten més desigualtats entre els anomenats països del nord i del Sud, on les catàstrofes naturals, les guerres, el canvi climàtic, etc., no fan més que accentuar aquestes disparitats. Com a conseqüència, els reptes que tenen les orga-nitzacions de cooperació al desenvolupament són cada cop més difícils d’assolir. La majoria

Pròleg

12

Som conscients que només amb el segui-ment i l’avaluació no podrem adaptar-nos als reptes de futur que tenen les ongd al da-vant, i que analitzem en el capítol 1. Ara bé, estem convençuts que l’avaluació pot ser un dels motors que poden ajudar a gestionar el canvi en les ongd espanyoles.

En definitiva, volem transmetre el missatge que, per complir la seva missió, les ongd han de poder mesurar en certa manera l’impacte de les seves actuacions sobre els col.lectius amb els quals treballen. només mitjançant una anàlisi clara i honesta d’aquest impacte, les or-ganitzacions sabran si tenen èxit, en quins pro-grames han de concentrar més recursos en el futur, quines activitats cal abandonar i quins són els nous projectes que és necessari impul-sar. Si integrem el seguiment i l’avaluació en el nostre treball, aprendrem a millorar la nostra missió i les nostres capacitats.

Alfred Vernis, ESADE-Institut d’Innovació Social

luació. La publicació que ara us presentem tracta de posar el seu petit gra de sorra per ajudar les organitzacions no governamentals de desenvolupament espanyoles en un dels temes pendents en les seves actuacions: el seguiment i l’avaluació.

La publicació pren com a eix central la neces-sitat d’entendre que l’aprenentatge és l’ob-jectiu central dels processos de seguiment i avaluació; i que hi ha moltes barreres orga-nitzatives —que van des de destinataris ben diferents fins a la falta de recursos i capaci-tats— que dificulten la implantació d’un sis-tema de seguiment i avaluació que permeti l’aprenentatge organitzatiu. Ara bé, la investi-gació duta a terme ens ha permès trobar bo-nes pràctiques, que reflectim en les pàgines que segueixen.

13

GpRD: gestió orientada a la consecució de resultats

IDH: Índex de desenvolupament humà

IDS: Institute of development Studies

INTRAC: International ngo Training and Re-source Centre

MDB: Marc de base

ML: Marc lògic

NU: nacions Unides

NORAD: Agència noruega per a la Coopera-ció i el desenvolupament

ODM: objectius de desenvolupament del Mil.lenni

OCDE / CAD: organització per a la Coopera-ció i el desenvolupament Econòmic / Comi-tè d’Ajuda al desenvolupament

ONG: organització no governamental

ongd: organització no governamental per al desenvolupament

OPE: oficina de Planificació i Avaluació

OSC: organització de la societat civil

PLA: Aprenentatge i acció participativa

AOD: Ajuda oficial al desenvolupament

AeA: Ayuda en Acción

AECID: Agència Espanyola de Cooperació In-ternacional per al desenvolupament

BM: Banc Mundial

CMS: Canvi més significatiu (Most Signifi-cant Change)

CONCORD: Confederació Europea d’ong d’Emergència i desenvolupament

CONGDE: Coordinadora d’ong per al de-senvolupament d’Espanya

DFID: departament de desenvolupament In-ternacional del Regne Unit

DGPOLDE: direcció general de Planificació i Avaluació de Polítiques de desenvolupa-ment

DRP: diagnòstic rural participatiu

DRR: diagnòstic rural ràpid

DSRP: document Estratègic de Reducció de la Pobresa

EML: Enfocament del Marc Lògic

GAVI: global Alliance for Vaccines and Immu-nization

Sigles y acrònims

14

SWAP: Programes sectorials de suport pres-supostari

SC: Societat civil

SIDA: Agència Sueca per al desenvolupa-ment Internacional

UNICEF: Fons de les nacions Unides per a la Infància

USAID: Agència dels Estats Units per al de-senvolupament Internacional

PNUD: Programa de les nacions Unides per al desenvolupament

PRA: Participatory Rural Appraisal (diagnòstic rural participatiu - dRP)

RRA: Rapid Rural Appraisal (diagnòstic rural ràpid - dRR)

SECI: Secretaria d’Estat per a la Cooperació Internacional

SiA: Seguiment i avaluació

15

minat «nord». I és que, en el nou ordre inter-nacional que es perfila, les ongd estan des-tinades a assumir noves responsabilitats i a reafirmar les seves fonts de legitimitat i de «valor afegit», cosa que té un impacte precís en les seves agendes de seguiment i avalu-ació. Per això hem escollit aquest tema per obrir la publicació. I és que no es poden ana-litzar el seguiment i l’avaluació sense situar en primer lloc el moment crític, segurament de transició, que viuen les ongd d’àmbit in-ternacional.

La segona part de la publicació, també de caràcter analític, se centra plenament en el context d’Espanya, i analitza com es viuen en l’àmbit espanyol les transformacions apuntades en el primer capítol. Responen els diferents actors de la cooperació espa-nyola a les noves demandes del context internacional? Hi ha un entorn institucional i jurídic que afavoreixi el reposicionament d’aquests actors? Les ongd espanyoles estan preparades per assumir les noves responsabilitats que es plantegen? Així, el segon capítol se centra, en primer lloc, a fer una breu anàlisi de les últimes transfor-macions de l’entorn politicoadministratiu en

La publicació que teniu a les mans ha estat concebuda de manera «híbrida», amb un do-ble objectiu reflexiu i analític, d’una banda, i propositiu o en clau de manual, d’una altra, a fi de contribuir amb reflexions, anàlisis i pro-postes concretes al repte central d’avançar en la millora dels sistemes de seguiment i avaluació de les ongd espanyoles: una de les assignatures pendents en moltes organit-zacions del sector.

El document s’estructura en tres parts. La primera part, de caràcter analític, analitza el nou context internacional i els principals canvis esdevinguts en l’àmbit específic de la cooperació al desenvolupament i que plante-gen importants reptes per al conjunt de les ongd. En efecte, el primer capítol se centra en com les transformacions protagonitzades per l’entorn (amb la globalització com a tema central, la consolidació dels processos de descentralització, l’emergència de nous ac-tors de la societat civil i noves formes d’ac-ció política), els nous paradigmes de desen-volupament i els canvis en l’arquitectura de l’ajuda van redefinint els rols tradicionalment assumits per les ong de desenvolupament, molt especialment les situades en el deno-

Introducció

16

els objectius i les motivacions del seguiment i l’avaluació: el perquè d’aquestes funcions, i es presta una atenció particular a la tensió entre la rendició de comptes i l’aprenentatge orga-nitzatiu. El segon bloc, al seu torn, és compost per tres grans subtemàtiques: què seguim i avaluem?, amb una atenció especial a la tensió entre l’eficiència i l’eficàcia respecte de l’im-pacte i el mesurament d’intangibles; per a qui avaluem?, destacant els nous enfocaments democràtics de l’avaluació; i com avaluem?, apuntant els mètodes i enfocaments coneguts com de «quarta generació».

Finalment, la publicació acaba amb un con-junt de recomanacions, concebudes com a pistes de reflexió per ajudar els actors del sector (principalment, les ongd, però també altres actors rellevants, com ara l’Administra-ció i els finançadors) a millorar els sistemes de seguiment i avaluació, a fi d’adequar-se a les exigències del nou context internacional, de caràcter estratègic i operatiu.

Sense pretendre donar receptes universals ni models prefabricats, i tenint en compte, a més, la gran diversitat d’organitzacions existents, les anàlisis, recomanacions i pro-postes que es presenten deriven de la gran diversitat de pràctiques i experiències iden-tificades tant en el sector de les ongd com en el marc d’altres actors de la cooperació, bilateral i multilateral, així com de les fonts teòriques que existeixen sobre els diferents temes apuntats.

l’àmbit de la cooperació espanyola, tenint en compte el seu impacte, juntament amb l’evolució del suport popular a les ongd, com a factors clau per a la definició dels nous sistemes de seguiment i avaluació i l’establiment, en definitiva, d’una cultura d’aprenentatge institucional. Un cop apre-hesos els elements clau de l’entorn institu-cional, la segona part del capítol se centra, com a aproximació i sense ànim d’exhaus-tivitat, en la realitat d’aquests sistemes de seguiment i avaluació en el conjunt de les ongd espanyoles. Es tracta d’un esforç de diagnòstic simple, que té com a objectiu prioritari apuntar els elements que, partint de les entrevistes fetes i de la bibliografia consultada, s’han considerat més significa-tius i que ens han de permetre compren-dre les principals característiques d’aquests sistemes i veure quins són els grans reptes que cal resoldre. La tercera part constitueix el cor de la publi-cació. Combinant un caràcter analític i propo-sitiu alhora, s’endinsa plenament en el debat actual establert sobre el procés de seguiment i avaluació de les intervencions en l’àmbit de la cooperació al desenvolupament, l’evolució del qual, pel fet d’estar tot just a l’inici, encara és difícil de predir amb exactitud. Així, al llarg del capítol, i sense ànim d’exhaustivitat, s’identifi-quen les principals tendències i les qüestions més rellevants que es discuteixen en els àm-bits nacional i internacional, estructurades en dos grans blocs. En el primer, es consideren

17

els quatre capítols han estat estructurats com a unitats més o menys autònomes, encara que són freqüents les referències creuades, tenint en compte que és impossible traçar fronteres estrictes entre els temes.

Finalment, cal indicar, a propòsit dels contin-guts, que la publicació està pensada i conce-buda tant perquè es pugui llegir íntegrament, de principi a fi, com perquè es pugui consul-tar, a manera de guia, per capítols. Per això,

19

Promoció d’economies agraries de petits productors/es a Alta Paz i Petén. Intermon oxfam. guatemala 2008

20

Capítol 1: Un entorn canviant que obliga a repensar el valor afegit de les ongd: vers un rol i un mandat nous per a les ongd?

21

treball organitzat en projectes cap a un al-tre més de reforç de processos i capacitats, «passadissos» (en castellà, cabildeo), de-fensoria i lobby, els criteris de mesurament també s’han modificat. En paraules del repre-sentant d’una gran ongd europea:1 «Molta gent estava molt satisfeta del treball de les ongd quan la nostra activitat se centrava en el món de l’altre costat; érem la consciència de la gent, i fèiem un treball extraordinari amb els nostres joves valents als camps de refugi-ats, en les inundacions i en les fams. Però, de cop i volta, les coses es fan més difícils quan tornem al nord i comencem a qüestionar-nos tota la situació.»

I la veritat és que cada vegada són més les veus reflexives que s’alcen a l’entorn de la tasca portada a terme per les ongd del nord, més enllà fins i tot de la seva efectivitat i del mesurament d’aquesta. Comencen a ser cor-rents en l’esfera de la cooperació preguntes com ara quin és el valor afegit de les ongd i quin és el seu avantatge comparatiu?, què

1 Justin Kilcullen (2004), director de Trocaire i vi-cepresident del Consell de ConCoRd.

El 2002 un reconegut expert del tercer sec-tor, Hugo Slim, publicava un article sobre l’autoritat, la legitimitat i la responsabilitat de les ongd, que començava amb una provo-cativa citació extreta de The Economist; en referir-se a les ongd, deia: «Les ongd po-den reivindicar que actuen en nom de la gent i a favor dels interessos d’aquesta; cosa que també fan els que són objecte de les seves crítiques: governs i institucions internacio-nals. A occident, els governs i els seus or-ganismes són responsables davant els seus votants. davant de qui són responsables, les ongd?»

Es tracta, en efecte, d’una qüestió fonamen-tal, per a la qual les organitzacions encara volen elaborar respostes, si no definitives, almenys contundents. Tradicionalment, el criteri per mesurar l’efectivitat de les ongd consistia a analitzar el percentatge del pres-supost dedicat a les activitats d’administració i captació de fons. Però, atès que la missió i les prioritats estratègiques de les ongd han evolucionat —com argumentarem al llarg d’aquest capítol—, principalment des d’un

22

▪ l’enfocament relacional i la garantia de con-tinuïtat més enllà de la durada del projecte;

▪ la vocació d’experimentació social i l’as-sumpció de riscos;

▪ la capacitat de generar suports i compromi-sos entre la ciutadania del nord.

des de fa un cert temps, l’observació crítica dels resultats moderats de més de tres dèca-des de cooperació no governamental ha dut a qüestionar aquest eslògan. Les ongd del nord poden demostrar la certesa d’aquest avantatge? Són habilitats indissociables de la naturalesa de les ongd o, al contrari, neces-siten determinades condicions i maneres d’ac-tuar i, per tant, cal demostrar-les cas per cas?

Cada cop són més els analistes i els observa-dors del tercer sector i del desenvolupament que veuen aquest valor afegit com una cosa teòrica, inscrita, a més, en un model de soci-etat, ara caduc, basat en l’oposició de forces entre l’Estat, percebut com a corrupte i inefi-caç, i les ongd, percebudes com a properes a la població, eficaces i representatives. El balanç de les experiències de cooperació fins avui, juntament amb els nous contextos del Sud, amb l’auge i el reconeixement de tota una nova tipologia d’actors locals fermament arrelats al territori i amb una capacitat creixent per assumir els reptes del desenvolupament, obliga a repensar el rol de les organitzacions del nord i a analitzar-ne el valor afegir de ma-nera concreta, lluny dels discursos teòrics so-bre el tema.

saben fer millor les ongd respecte d’altres actors de la cooperació?, per què una agència hauria de finançar un projecte presentat per una ongd o subcontractar-la per a la imple-mentació d’una activitat? o per què és millor treballar amb una ongd europea en comp-tes de treballar directament amb els actors locals?

1. Reflexions entorn del valor afegit de les ONGD

Tradicionalment s’ha argumentat que les ongd, comparades amb altres actors, ofe-reixen un conjunt de «garanties» fonamenta-des, no tant en l’especialització en un sector o àmbit d’intervenció determinat —a excepció, segurament, de les intervencions humanitàri-es per a les organitzacions especialitzades en aquests contextos—, sinó en un enfocament i en un conjunt d’habilitats de caràcter trans-versal. En certa manera, les ongd han esde-vingut els estendards d’un model alternatiu de cooperació —que els anglosaxons van eti-quetar com a «the magic bullet» (la bala mà-gica)—, enfront de la cooperació oficial entre estats, basat en un conjunt d’habilitats entre les quals destaquen, fonamentalment:▪ la proximitat i l’arrelament en les comuni-

tats locals;▪ l’enfocament participatiu i d’apoderament

d’aquestes comunitats;▪ la vocació intercultural i l’actitud envers el

diàleg i la conciliació;

23

Així mateix, una anàlisi ràpida de les darreres declaracions dels principals donants deixa en-treveure un nou discurs, allunyat de les posi-cions d’altres temps en què es lloava el valor afegit teòric de les ongd com a complement en la implementació de les seves polítiques de cooperació. La comunitat de donants de-mana ara un nou rol per a les ongd, i els sol.li-cita, en la majoria de les agendes, que es con-centrin en un marc més extens de desenvo-lupament, a l’entorn de la posada en pràctica dels processos dSRP (document Estratègic de Reducció de la Pobresa), a partir i a través del reforç de les capacitats locals.

També se sol.licita a les ongd que modifi-quin les seves accions i les redirigeixin cap al reforç i l’acompanyament dels actors de la societat civil local, amb l’objectiu que aquests puguin exigir als seus governs que retin comptes per la qualitat dels serveis prestats i reclamar els seus drets a uns serveis bàsics millors. A més, es modifiquen els espais de diàleg sobre les polítiques de cooperació dels donants. La Unió Europea, per exemple, en els nous marcs de cooperació (destaca el cas dels Acords de Cotonou) inclou tota una nova gamma d’actors, particularment del Sud (governs locals, societat civil local, etc.), i els reconeix el seu arrelament i la seva represen-tativitat en el territori i, en conseqüència, els obre un espai privilegiat per al diàleg sobre polítiques de cooperació, d’àmbit local, regio-nal i internacional. d’altra banda i amb relació a les ongd del nord, en el discurs dels do-

De la pobresa al poder

Les raons que justifiquen l’existència d’ongd han canviat. Moltes de les organitzacions es van fundar a partir dels anys cinquanta, i ho van fer persones que havien estat testimonis de l’extrema pobresa a l’Àfrica, Àsia i l’Amèrica Llatina, en comparació de la riquesa a Europa i l’Amèrica del nord; persones que van sentir la responsabilitat de transferir part d’aquesta riquesa al Sud pobre, intentant assegu-rar-se que els diners es gastaven en l’alleujament de la pobresa. Aquest és el marc de la major part del nostre treball pràctic d’avui. no vull que sem-bli massa simplista quan parlo de tot això; natural-ment que hem afegit força sofisticació a la reflexió, però el marc bàsic per a l’existència i el treball de les ongd era així de simple. La raó d’existir d’una ong de desenvolupament situada al nord era la transferència de recursos.

Actualment, sens dubte, reconeixem que la simple transferència de recursos, en les magnituds que poden controlar les ongd, no serveix per canviar el món. Canvia enormement la vida d’algunes per-sones, però no eradica la pobresa. de manera que la justificació per estar situats al nord ha canviat: ja no és que el nord sigui ric, sinó que el nord té poder […]. I això canvia la nostra manera de pensar sobre el que fem. Canvia l’accent, que ara se situa en la defensoria, el lobby, les campanyes, la cons-cienciació i l’educació sobre el desenvolupament, les opcions dels consumidors, les opcions dels votants. Fa deu anys hi havia potser deu o dotze ongd al Regne Unit que tenien capacitat significa-tiva en aquestes àrees. Actualment, podríem parlar d’una cinquantena […].

Molts acadèmics i algunes persones d’ongd pen-saran que això és vell: el canvi en l’anàlisi del treball de les ongd ja va tenir lloc fa força temps. Però

24

lupament i en l’arquitectura general de la coo-peració internacional, sinó també, i de mane-ra més àmplia, com a agents socials implicats en els canvis de l’arena econòmica, social i política, tant d’àmbit local com internacional.

El que sí que és nou, en canvi, és la intensi-tat i l’abast que han revestit aquests debats fa poc. des del final dels anys noranta, els canvis que hi ha hagut en el context interna-cional, amb l’emergència i la consolidació de nous actors, del nord i del Sud, i la redefini-ció dels sistemes i les arquitectures de l’aju-da al desenvolupament, estan provocant un veritable qüestionament a les ongd, entorn del seu propòsit, la seva especificitat, la seva governabilitat, el seu funcionament i la seva posició en la societat.

Abans de continuar l’anàlisi dels nous rols atorgats a les ongd i les implicacions que aquest fet té en els sistemes de seguiment i avaluació, objecte de la present publicació, aturem-nos un moment en l’entorn, per po-der comprendre millor els canvis esdevinguts i el seu impacte a les agendes de les ongd.

2. el nou entorn de la cooperació al desenvolupament

A parer nostre, hi ha tres grans esferes que cal analitzar de l’entorn, i que tenen una inci-dència directa en la construcció de la identitat i la definició del rol de les ONGD:

nants, cada cop se’ls reconeix més el valor afegit des de la perspectiva de la sensibilitza-ció, l’educació per al desenvolupament i la ca-pacitat de lobby i defensoria davant dels es-tats i els organismes internacionals en qües-tions clau per al desenvolupament, com ara la possibilitat d’empènyer en la direcció dels objectius de desenvolupament del Mil.lenni.

Les discussions sobre el rol i el valor afegit de les ongd del nord no són, però, noves. Com analitza una de les seves confederaci-ons d’àmbit europeu2 (ConCoRd, que agluti-na més de mil cinc-centes ongd europees), la majoria dels seus grups de treball i de les seves estructures de govern s’han enfrontat, en algun moment o altre de les seves discus-sions i dels seus intercanvis, a la qüestió de la identitat i el paper de les ongd, no sols en el sistema de la cooperació europea al desenvo-

2 «The role of European ngos in the next 10 years. A vision on the future!», olivier Consolo, director de ConCoRd (European Confederation of development and Relief ngos), Dossier DEEP Thematic, juny del 2005.

ha estat en aquest darrers anys que ha començat a afectar les opcions reals de programació de moltes ongd.

Extracte de la ponència «Challenges of being a nor-thern ngo: The UK experience», elaborada per Ri-chard Bennett, secretari general de Bond, amb mo-tiu del debat sobre el rol de les ongd, Assemblea general de ConCoRd, 25 de novembre de 2004.

25

tors tradicionals de la cooperació en analitzar l’entorn. I és que fins al final dels anys vui-tanta, com analitza aquest article, l’entorn era relativament senzill: després dels esforços de desenvolupament, els governs centrals eren la força motriu i els principals receptors d’aju-da, mentre que la resta d’actors, fonamental-ment les ongd, tenien un rol secundari.

Avui, una mirada ràpida a l’entorn mostra una realitat radicalment diferent i, a més, en evo-lució constant. Fenòmens com la creixent globalització, les noves qüestions de segure-tat en l’agenda de la cooperació o l’aparició de tota una nova gamma d’actors, públics i privats, amb rols que sovint se superposen i que estableixen noves i complexes relaci-ons —que van des de la confrontació fins a l’establiment d’aliances i partenariats— són alguns dels canvis que han transformat els paràmetres sobre els quals les ongd tradi-cionalment han basat les seves actuacions. Com concloïa l’estudi elaborat per Sustaina-bility el 2003 sobre les ongd del segle xxi, els primers anys d’aquest nou segle presen-ten una combinació de característiques que obliguen les ONGD a canviar en aquesta dècada més del que han canviat en les tres darreres dècades.

La figura següent resumeix els cinc àmbits que ens ha semblat particularment rellevant d’analitzar amb més profunditat, tenint en compte el seu impacte en l’agenda de les ongd.

Examinem aquestes esferes de l’entorn amb més deteniment:


«En la famosa obra de Luigi Pirandello Sis personatges en cerca d’autor, una sèrie de personatges apareixen en escena. Estan confosos i perduts, perquè no hi ha cap guió preparat per a ells. L’autor no apareix i, apa-rentment, no ha aconseguit assignar-los uns papers clars.»

Amb aquesta citació inaugurava l’ECdPM,3 un centre d’investigació europeu sobre les polí-tiques de cooperació al desenvolupament, el seu butlletí d’informació (newsletter) de març del 2004 titulat «Qui fa què en la cooperació al desenvolupament?» I la veritat és que una sensació semblant, com ja dèiem en línies anteriors, sembla que envaeix molts dels ac-

3 «Who does what in development cooperation», Info Cotonou, núm. 4, ECdPM, març del 2004.


2.2. Evolució dels paradigmes de

desenvolupament

2.3. Canvis en l’arquitectura de la

cooperació

26

afecten les seves vides; (ii) en segon lloc, la globalització promou l’aparició d’un nou ordre mundial, constituït per una amalgama de xar-xes i constel.lacions d’actors públics i privats, que obliga a repensar el poder polític, el qual, cada cop més, ha de ser negociat entre di-ferents forces i actors; (iii) i en tercer lloc, la globalització dels tradicionals patrons de po-bresa i exclusió i la fi de la consagrada divisió entre el nord i el Sud; cada vegada trobem més nords al Sud i, a l’inrevés, suds al nord, amb creixents graus de desigualtat dins d’un mateix país.

L’afirmació de l’unilateralisme i la «guer-ra contra el terror» han modificat també els escenaris d’actuació de les ong, particular-ment les organitzacions humanitàries, ja que s’han redefinit els límits, com més va més difusos, entre les seves agendes humanità-ries i de construcció de la pau, i les agendes militars i polítiques de les potències inter-nacionals. Les consideracions sobre l’acció humanitària com a neutral i apolítica —una afirmació que es va erigir en un dels pilars humanitaris— s’han de revisar, per donar res-posta a preguntes tan transcendentals com les següents: les ongd s’han d’alinear amb aquestes agendes? o, al contrari, s’han de mantenir al marge, cosa que d’altra banda les incapacita per actuar en determinades zones de conflicte i arribar d’aquesta manera a les comunitats locals, tenint en compte que de-penen de les forces militars per tenir garantit l’accés? Però no es tracta d’un dilema nou.

La intensificació dels processos de globa-lització en tots els àmbits —caracteritzada per la proliferació i la consolidació de xarxes i relacions humanes cada cop més extenses i complexes—, que subratlla la importància de les interconnexions mundials i planteja noves relacions entre els processos econò-mics i polítics, com també paradoxes com la creixent integració i l’agreujant fragmentació, és probablement el fenomen més rellevant en la nostra societat internacional contempo-rània. Sense ànim d’exhaustivitat en l’anàlisi de les implicacions que això comporta, i con-centrant l’atenció en els seus efectes per a la comunitat d’ongd, podem destacar tres factors que val la pena que les ongd tinguin en compte: (i) d’una banda, la globalització té un impacte cert i directe en la naturalesa i el significat de la noció de ciutadania, ja que pro-mou la noció d’una ciutadania global, que es posiciona no tan sols respecte de les seves comunitats polítiques immediates, sinó tam-bé en el si de xarxes regionals i globals que

27

civil, tradicionalment exclosos de l’arena po-lítica. d’altra banda, la ciutadania organitzada en associacions, nascudes moltes vegades com a resposta a la manca de capacitat o de voluntat dels governs per solucionar els pro-blemes comunitaris, ha començat a ser va-lorada com a aliada interessant per aquests governs i aquestes agències de cooperació, així com per les autoritats locals, en la seva cerca d’aliances i partenariats per a una millor cobertura de les necessitats bàsiques del seu territori. Com a resultat, en l’esfera global, sota el lema d’una millor governabilitat eco-nòmica i financera, s’obren espais de partici-pació per a la societat civil, tant del nord com del Sud i —com analitzàvem en la introducció del present capítol, a propòsit del valor afegit sobre les ongd— cada vegada més els or-ganismes internacionals integren en els seus debats i les seves agendes els actors del Sud.

L’avenç en l’agenda de la descentralització. Encara que amb diferències substancials, s’aprecien avenços importants en els proces-sos mundials de descentralització i devolució de competències als governs subnacionals, els quals assumeixen responsabilitats tradici-onalment reservades a l’estat central i, margi-nalment, a algunes ongd i organitzacions de la societat civil, que especialment en alguns països menys desenvolupats han assumit ocasionalment la provisió de determinats ser-veis bàsics, com la salut o l’educació. Encara que cal matisar aquesta tendència amb les diferències de model d’estat existents, els di-

Escenaris com Somàlia o l’Afganistan, entre d’altres, ja van ser motiu de presa de posi-cions en la comunitat de les ongd, en què van conviure enfocaments diversos, fins i tot contraris. El que sí que és nou, en canvi, és la profunditat i la freqüència amb què aquestes dilemes es plantegen a les ongd, i la urgèn-cia de respostes que reclamen. Per bé que no hi ha una única resposta, i continuaran co-existint diversos enfocaments, si que és ne-cessari que aquests siguin fruit d’una reflexió estratègica prèvia i de la responsabilitat sobre l’impacte d’aquestes opcions.

L’auge d’una societat civil organitzada als països «del Sud». Els canvis que el món ha experimentat en els darrers anys han trans-format també l’estructura de les societats, particularment als països del Sud. Les orga-nitzacions de la societat civil han crescut i s’han consolidat i autonomitzat, poc o molt segons els contextos, elaborant i desenvo-lupant les seves pròpies estratègies de de-senvolupament i assumint nous rols, tant en la prestació de serveis de base, com en la conducció d’accions ciutadanes de «pas-sadissos» i influència davant els seus gover-nants. Són diversos els factors que expliquen aquest auge sense precedents, que cal ma-tisar, però, amb les diferències entre països i regions. En primer lloc, els esforços de democratització i promoció dels valors i les normatives d’un estat de dret, impulsats en molts països, han comportat l’obertura crei-xent d’espais polítics als actors de la societat

29

Programa integral de desenvolupament per el districte de Kebri Beyah. Comité internacional de Rescate España. Etiopía 2007

30

a les ongd, particularment amb relació al seu treball tradicional de prestació de serveis bàsics. Continua sent responsabilitat de les ongd la prestació de serveis de base quan aquests són competència de les instàncies locals? I, si és així, per què no se sumen a les noves instàncies locals i treballen conjunta-ment en la provisió de serveis amb una lògica basada en «el dret»?

Nous models i formes de «passadissos» i acció política. Paral.lelament a la disminu-ció de la participació ciutadana en les formes tradicionals de democràcia electiva —com es posa de manifest a partir dels resultats que llancen les urnes arreu—, som testimonis, des de fa uns quants anys, d’una certa efer-

ferents graus d’autonomia i de protagonisme polític de les autoritats locals i el grau de sen-sibilització social existent, sembla que hi ha un cert consens sobre dues qüestions fona-mentals. En primer lloc, sobre la convenièn-cia de promoure la descentralització i enfortir-la, tenint en compte el seu protagonisme clau en matèria de governabilitat democràtica. En segon lloc, sobre la necessitat de conjuminar esforços amb les administracions descentra-litzades per millorar l’eficiència i l’eficàcia de la gestió pública, en termes de provisió de serveis públics i representació dels interes-sos de la ciutadania. Aquest nou protagonis-me de les autoritats locals —no tan sols al Sud, sinó també al nord, si hem de jutjar per les noves experiències, per exemple, de co-operació descentralitzada directa entre auto-ritats locals— planteja nombroses qüestions

Un bon exemple d’aquests moviments globals ba-sats en l’activisme per Internet és Avaaz.org, un nou moviment de protesta basat en la xarxa, que ja té un milió d’activistes. La paraula avaaz signi-fica ‘veu’ o ‘cançó del poble’ en diferents idiomes (com l’hindi, l’urdú o el persa). L’organització es de-fineix com «una comunitat formada per ciutadans de tot el món que es mobilitzen entorn dels temes mundials més rellevants i urgents». Les seves campanyes més conegudes inclouen «SoS canvi climàtic», «Pau a l’orient Mitjà» i «Alto a la guerra a l’Iraq», i en aquest 2008, «Cicló a Birmània – En-viem-hi ajuda», «drets, no armes, per a Zimbàbue» i «Crisi al Tibet - dóna suport al dalai-lama».

«directrius sobre descentralització i enfortiment de les autoritats locals», Un Habitat, aprovades a nai-robi a l’abril del 2007.

«Avui dia, es considera que la descentralització efectiva és un element de la bona governança i una expressió de la pràctica democràtica i d’una Administració pública eficient. També es reconeix que les autoritats locals electes, juntament amb les autoritats nacionals i regionals, són els princi-pals agents de la governança i l’administració de-mocràtiques, que col.laboren amb les autoritats nacionals i regionals, però que tenen també les seves pròpies esferes autònomes d’activitat pú-blica. Per aquest motiu la democràcia local cons-titueix un element essencial de la democràcia pròpiament dita, sigui quin sigui el tipus d’estat, federal, regionalitzat o unitari.»

Més informació: www.avaaz.org.

31

gració de noves teories que, bàsicament, contradeien les predecessores—,4 la veritat és que la teoria del desenvolupament parteix ara de noves conviccions que sí que tenen un impacte concret en el mandat i el rol per a les ongd del nord.

Sense voluntat d’exhaustivitat en l’anàlisi d’aquesta evolució, recollim a continuació al-guns d’aquests canvis:

Un primer canvi fonamental és el renovat accent en l’eradicació de la pobresa com a objectiu final de les estratègies de de-senvolupament. Com analitza Alan Fowler (2005), la reducció de la pobresa s’ha con-vertit ara en la motivació central i explícita de l’ajuda al desenvolupament. El que això signi-fica es defineix a partir dels vuit objectius de desenvolupament del Mil.lenni (odM) i els seus divuit resultats associats. Les metes ex-plicitades en aquests objectius s’han conver-tit en la manera que utilitza el sistema d’aju-da per justificar la seva presència, alinear els

4 Els canvis en els discursos són evidents, per exemple, en els diferents informes de desenvo-lupament humà, elaborats per institucions com el Banc Mundial o el PnUd. Fent-ne una lectura «his-tòrica», des dels anys setanta fins avui, afloren els diferents eslògans amb els quals s’han impulsat les accions de cooperació: des de la importància central de l’estat cap a les polítiques neoliberals dels anys noranta, fins al Consens de Washing-ton, el redescobriment de les institucions, el des-cobriment de la societat civil i, més recentment, la noció de capital social i la governabilitat.

vescència en les mobilitzacions ciutadanes a partir de nous models i noves expressions d’acció política (des de les campanyes i sig-natures de peticions a través d’Internet, fins a les manifestacions ciutadanes o el boicot dels consumidors a determinats productes, etc.). Com analitza Sarah Lister (2004), mentre que les ongd encara són centrals en les campa-nyes a l’entorn de la condonació del deute i el comerç just, sembla que han perdut un cert contacte amb els protagonistes i motors del nou activisme polític, capaços de mobilitzar una gran quantitat de persones amb motiu de causes vinculades a l’exclusió i la justícia.

2.2. evolució dels paradigmes i les agendes de desenvolupament

En coherència amb el context complex i can-viant que acabem de descriure, en els últims anys han evolucionat el discurs i la pràctica sobre el desenvolupament. Encara que ja no es tracta de grans revolucions en els paradig-mes vigents —com passava fa anys, quan recurrentment es produïa l’auge i la consa-



desenvolupament

2.3. Canvis en l’arquitectura de la cooperació

32

guanya progressivament força en l’àmbit de la cooperació internacional. Un tercer canvi consisteix en l’evolució de la noció d’ONGD cap al concepte de soci-etat civil. Com avançàvem en la primera part d’aquest capítol, a propòsit de les discussi-ons entorn del valor afegit de les ongd, els últims anys han estat testimoni d’un canvi profund en el pensament i la pràctica del de-senvolupament amb relació al tercer sector. d’uns discursos, estratègies i programes centrats en l’actor ongd, cada vegada més els donants, atents a la nova i vibrant realitat del Sud que evocàvem en l’apartat anterior, integren en els seus discursos tot un nou ventall d’actors no estatals, tradicionalment exclosos dels circuits habituals de cooperació i aglutinats ara sota el denominador comú de «societat civil».

Com analitza l’InTRAC (2003), el Banc Mun-dial, per exemple, en el marc dels processos de dSRP impulsats, ha modificat en l’última dècada el seu discurs, i ha canviat la nació de «participació» per la de «capital social»; amb això ha abandonat també la noció exclu-

es pot definir com «el marc de regles, institucions i pràctiques que defineixen i estableixen els límits i els incentius per al comportament dels individus i les organitzacions». Es tracta, doncs, d’una noció que es basa, al mateix temps que els fomenta, en els procediments institucionals que correlacionen i vinculen els nivells d’operació dels governs, cen-trals i locals, amb els nivells d’organització i parti-cipació social.

seus esforços, invertir recursos i establir rela-cions entre els donants. I amb tota seguretat, veient la importància d’aquestes i com es va transformant l’arquitectura de l’ajuda —com analitzarem breument en l’apartat següent—, també marcaran les agendes dels organismes internacionals amb relació al finançament po-sat a la disposició de les ongd.

Un segon canvi rellevant en el discurs sobre el desenvolupament és el rol preponderant de l’estat —en les seves diverses accepci-ons (que inclou també les autoritats locals)—, en l’impuls i el maneig dels processos de de-senvolupament. no obstant això, no es trac-ta de tornar a l’ara ja caduca visió d’un estat omnipresent que assegura la integralitat dels cicles de planificació, execució i avaluació de les polítiques públiques per ell mateix, sinó d’avançar en l’establiment del que alguns experts han començat a denominar l’estat relacional,5 noció que preveu un creixent rol de l’estat com a marc regulador i facilitador general, així com una creixent interacció, ne-gociació i col.laboració entre la diversitat d’ac-tors, públics i privats. Apareix així una noció fonamental, la noció de governabilitat,6 que

5 Xavier Mendoza (1995) defineix l’estat relacio-nal com un estat «que reconeix la complexitat i la interdependència presents en problemes socials i que assumeix que la resolució d’aquests proble-mes només es pot abordar amb la col.laboració activa de la mateixa societat».

6 Com va posar en relleu l’Informe de desenvolu-pament Humà de l’onU del 2002, la governabilitat

33

nan en un dels seus discursos,7 «no hi pot haver desenvolupament sense seguretat; ni seguretat sense desenvolupament. I no hi pot haver ni seguretat ni desenvolupament si els drets humans no són respectats. Tret que el combat es lliuri en tots els fronts, cap victòria no serà possible.» Cal dir que aquest enfocament no és nou en la cooperació al desenvolupament. des del 1997 el sistema de les nacions Unides ha fet un esforç im-portant de reflexió sobre el seu concepte de desenvolupament i ha adoptat formalment un enfocament fonamentat en la noció de drets humans, com es desprèn, per exemple, dels criteris que conformen l’índex de desenvolu-pament humà (IdH). També el Banc Mundial i altres agències multilaterals i bilaterals han integrat progressivament criteris lligats al res-pecte dels drets humans i la bona governabi-litat en les seves polítiques i estratègies de desenvolupament, per exemple, en els do-cuments d’Estratègia País que negocien amb els països socis, encara que cal matisar que els enfocaments són encara molt heteroge-nis. Fins i tot tenint en compte aquesta diver-sitat, el canvi d’enfocament, passant de les necessitats als drets, suposa, en definitiva, juntament amb l’accent renovat en les instàn-cies de l’estat en els seus diferents nivells, que la pràctica del desenvolupament ha evo-lucionat en la provisió de serveis, des d’una perspectiva de «benestar» en la qual l’objec-

7 Koffi Annan (2005), «En una mayor libertad: de-sarrollo, seguridad y derechos humanos para to-dos», nacions Unides.

siva d’ongd, per passar a una d’ampliada de «societat civil». El PnUd, amb una trajectòria més consolidada amb relació a la participa-ció i les ongd, també ha modificat la seva estructura. des del 1996, la Unitat sobre les ongd s’ha convertit en la Unitat sobre Soci-etat Civil i Participació. I transicions similars són identificables en agències bilaterals com la noRAd, el CIdA o el dFId i en fundacions com Foro. n’és una altra prova el fet que la majoria d’organismes i agències disposen, a més, en els seus organigrames i en les seves plantilles, de departaments i especialistes, o almenys de punts focals, sobre la societat ci-vil, també pel que fa a les oficines del país.

En certa manera, mentre en altres temps es considerava les ongd pràcticament com un sinònim de societat civil, la categoria s’ha obert ara a tota una nova gamma d’actors, que inclou també organitzacions orientades a l’entorn dels serveis als seus membres, com les esglésies, els sindicats, les organitzacions professionals, les associacions de base o les cooperatives locals, entre d’altres. Immerses llavors en una nova categoria, on ja no tenen l’exclusivitat ni el «monopoli», les ongd s’han d’esforçar per argumentar quines les defineix, quin lloc ocupen i com es relacionen amb la resta dels actors no estatals.

Un quart canvi són els enfocaments reno-vats sobre el desenvolupament a partir de la noció de drets, que substitueix la noció de necessitats. Com emfasitzava Koffi An-

34

de mercat per generar, a més de valor econòmic, valor social i inclusió. És el que comença a conèixer-se com a negocis inclusius, una nova manera d’operar que permet crear cadenes de valor sostenibles en diversos països de l’Amèrica Llatina, Àsia i Àfrica.

organitzacions com el World Business Coun-cil for Sustainable development (WBCSd), el World Resource Institute (WRI), el Banco Interamericano de desarrollo o el SnV holan-dès de cooperació al desenvolupament, des de fa anys, impulsen aquestes noves estra-tègies, donen suport a empreses locals als països del Sud, cooperatives i/o associaci-ons de productors, que busquen com poden generar desenvolupament propi, sostenible, incrementable i que generi rendiments eco-nòmics que permetin als pobres consumir a preus més barats, treballar en iniciatives empresarials o bé crear el seu propi empre-niment social.

2.3. Canvis en l’arquitectura de l’ajuda

tiu final és la cobertura de necessitats a curt termini, cap a una lògica processual de cons-trucció i reforç d’institucions responsables de la provisió d’aquests serveis, en paral.lel amb el reforç de la ciutadania i l’apoderament de les poblacions per exigir una millor rendició de comptes per part de l’estat. Es tracta d’un nou escenari que obliga de nou a repensar el lloc que ocupen els programes de les ong, sobretot, de les orientades bàsicament a la prestació de serveis socials a les poblacions del Sud. Finalment, també destaca l’aparició i la pro-gressiva consolidació d’un conjunt de noves estratègies de lluita contra la pobresa i l’ex-clusió social, que utilitzen els mecanismes

Què són els negocis inclusius?

Els negocis inclusius són iniciatives econòmica-ment rendibles i ambientalment i socialment sos-tenibles, que utilitzen els mecanismes del mercat per millorar la qualitat de vida de les persones amb ingressos baixos, ja que permeten: • la seva participació en la cadena de valor com a

proveïdors de matèries primes, agents que agre-guen valor a béns o serveis, o venedors/distribuï-dors de béns, i/o

• el seu accés a serveis bàsics essencials de millor qualitat o menys preu, i/o

• el seu accés a productes o serveis que els perme-tin entrar en un «cercle virtuós» d’oportunitats de fer negocis o millorar la seva situació socioeco-nómica.

Font: World Resource Institute (2006)



desenvolupament

2.3. Canvis en l’arquitectura de la

cooperació

35

volupament, comencen a alinear-se al voltant d’una determinada arquitectura de l’ajuda, conformada per un conjunt de conceptes, metes, polítiques i prioritats compartits. En aquest nou marc, l’establiment d’objectius i indicadors d’acompliment consensuats i me-surables es converteix en un important focus de convergència, juntament amb la promoció de la governabilitat política i econòmica, que s’institueix com una de les condicions neces-sàries perquè les inversions en matèria de reducció de la pobresa —l’objectiu central de tota la cooperació al desenvolupament— si-guin efectives.

Encara que l’Agenda de París no està exemp-ta de riscos i de preguntes, encara sense res-posta, com critiquen nombroses organitzaci-ons de la societat civil,9 la veritat és que con-solida un conjunt de tendències de racionalit-zació de l’arquitectura de l’ajuda que alguns donants, de manera aïllada, havien començat a introduir des del final dels anys noranta. La pregunta que se’ns planteja llavors és: Què ha canviat en el sistema de la cooperació, en coherència amb els nous discursos sobre el desenvolupament als quals fèiem referència en l’apartat anterior, i en resposta als nous

9 destaca la tasca duta a terme per un conjunt d’organitzacions i xarxes de la societat civil (locals, nacionals, regionals i internacionals) reunides en l’anomenat grup Coordinador Internacional (oIg) de les organitzacions de la societat civil (oSC), que coordina el procés paral.lel de les oSC cap al Fòrum d’Alt nivell de ghana.

Eficàcia és el concepte clau entorn del qual s’estructura la prometedora «declaració de París», acordada al març del 2005, entre els signataris de la qual hi ha 35 països donants i agències, 26 agències multilaterals i 56 països receptors d’ajuda.8 La declaració estableix els compromisos globals per als països donants i receptors, per avançar en una cooperació més eficaç i de més impacte en la reducció de la pobresa i la desigualtat, en el marc actu-al de l’increment significatiu de l’ajuda al de-senvolupament. La declaració presenta així unes metes clares —especificant objectius, indicadors i cronogrames— per millorar l’efi-càcia de l’ajuda al desenvolupament a través d’uns criteris clau: apropiació, harmonització, alineació, gestió per resultats i mútua respon-sabilitat/rendició de comptes en la gestió de la cooperació. A més, conté una agenda embri-onària per a la implementació i el seguiment del progrés i l’acompliment fins a l’any 2010. Com analitza Alan Fowler (2005), després de molts anys caracteritzats per la manca de co-herència, l’absència de continuïtat i l’escassa coordinació d’intervencions, molts organis-mes internacionals i agències bilaterals, que configuren el sistema oficial d’ajuda al desen-

8 Com analitzen Esther Mebrahtu, Brian Pratt i Lin-da Lönnqvist (2007), la declaració de París també la van subscriure 14 organitzacions de la societat civil. Amb el temps, però, algunes s’han anat dis-tanciant d’aquesta declaració, dient, a més, que una cosa va ser la seva presència al Fòrum de Pa-rís l’any 2005 i una altra, molt diferent, és la seva conformitat amb l’agenda resultant.

36

Juntament amb els documents d’Estratègia País i els Programes Sectorials de Suport Pressupostari (SWAP), en línia amb els docu-ments Estratègics de Reducció de la Pobresa elaborats pels governs dels països receptors —sovint assistits pels donants—, trobem tot un nou ventall d’acords institucionals, pràc-tiques i instruments complementaris, inte-grats poc o molt en els diferents sistemes i arquitectures de les agències de coopera-ció. Ens referim, com analitza Fowler (2006), a elements com ara la cultura de gestió per resultats, els dispositius de fons globals ges-tionats per una única agència i que capita-litzen els esforços de molts països (com el Fons per a la Malària, Tuberculosi i Sida), la Iniciativa global Compact (que concerneix les corporacions) o els dispositius competitius de finançament (en què la suma del finançament depèn de l’acompliment), adreçats tant als països receptors com a les mateixes ongd, a les quals se’ls demana, cada vegada més, que s’alineïn amb les estratègies dels do-nants, al mateix temps que s’introdueixen mecanismes per fer el seguiment i l’avaluació del seu acompliment.

Precisament, aquest últim dispositiu ens fa reflexionar sobre un fenomen més ampli, en el qual s’insereix aquesta lògica evocada de finançament competitiu de les ongd. Ens referim als canvis en els patrons de finan-çament disponible per a les ONGD. En lí-nia amb els arguments expressats en apar-tats anteriors amb relació a la translació de

compromisos adquirits pels donants? I enca-ra més important per a la tasca que ens con-cerneix: Quin impacte tenen aquests canvis en la tasca de les ongd?

En primer lloc, podem destacar l’elaboració generalitzada de marcs nacionals de desenvo-lupament: les denominades Estratègies País elaborades, a més, a partir de documents Es-tratègics de Reducció de la Pobresa (dSRP). L’enfocament de «programa i projecte», tot i que encara és vigent per a la canalització de determinats esforços, sembla avui supe-rat com a enfocament majoritari, en favor de l’ajuda pressupostària per a la implementació de les estratègies sectorials10 que deriven dels marcs nacionals (PRSP). Aquest nou en-focament, que posa l’accent en una raciona-litat més gran dels fluxos d’ajuda destinats a un país i la seva necessària coherència amb els esforços nacionals i les polítiques d’altres donants, té com a objectiu promoure l’apropi-ació i la participació de les estratègies de de-senvolupament, retornant el lideratge als go-verns dels països receptors de la cooperació. Com analitzen Rogerson et al. (2004), «A part de més apropiació, transparència, flexibilitat i racionalització, els nous paradigmes sobre l’ajuda proposen uns nous patrons de coope-ració, més sostenibles i predictibles, en línia amb els resultats acumulatius necessaris per assolir els odM.»

10 Ens referim al suport pressupostari lligat als SWAP (sector wide approaches).

37

A aquests canvis, s’hi afegeixen altres aspec-tes, com ara la desconcentració incremental que implementen moltes agències multilate-rals i bilaterals, i que suposa una devolució creixent de responsabilitats (incloent-hi el fi-nançament d’ongd) a les oficines als països receptors; la progressiva desvinculació de l’ajuda (també pel que fa als fons per a les ongd) i el recurs cada cop més habitual a empreses de contractistes i consultores per a la implementació de programes i projectes. Tot això afecta directament «la caixa» de les

l’interès dels donants —d’una banda, des de les ongd cap a la societat civil i, de l’altra, des dels actors del nord cap a la realitat del Sud—, molts donants bilaterals i multilaterals van reduint les sumes de finançament dis-ponibles per als programes de les ongd del nord, en favor de les iniciatives que emanen directament dels actors del Sud.

Aquesta tendència generalitzada de reducció del finançament contrasta amb l’augment de fons disponibles, per mitjà de grans con-tractes, per a la implementació de programes dels donants, particularment en el camp de l’ajuda humanitària, però també en el de la cooperació al desenvolupament. A diferèn-cia de l’enfocament anterior, les ongd són contractades sota aquestes premisses com a prestadores de serveis, i són considerades com a contractistes, al mateix nivell que les consultories privades que liciten per a la im-plementació de determinats programes.

Un tercer enfocament, alternatiu als dos an-teriors, és el del treball en partenariat entre els donants i les ongd. És un model, que comença a registrar exemples interessants, tot i que encara incipients, i que es basa a agrupar un important nombre d’actors públics i privats, centrant-se en un problema concret, com el cas de l’Aliança gAVI o del global Wa-ter Challenge (liderat per CARE).

L’esquema següent mostra els tres models possibles de relació i finançament identificats.

L’Aliança GAVI

L’Aliança gAVI és un partenariat entre els sec-tors públic i privat, amb un únic enfocament compartit: salvar la vida dels infants i protegir la salut de les persones incrementant l’accés a la vacunació als països pobres. El més interessant del partenariat és que hi participen els governs de països que poden rebre ajuda, governs del nord, multinacionals farmacèutiques, empreses locals del Sud que poden desenvolupar vacunes i organitzacions de la societat civil. En aquests set anys, l’Aliança gAVI ha aconseguit protegir milions d’infants que han tingut accés a vacunes bàsiques. La iniciativa és innovadora en la mane-ra de finançar el desenvolupament a través de mecanismes com l’International Finance Fa-cility for Immunisation (bons emesos per go-verns desenvolupats als mercats internacionals de capitals) i l’Advance Market Commitment (fons per assegurar el preu de les vacunes a llarg termini).

Font: Gavi Alliance (www.gavi.org).

38

seves prerrogatives. I més encara, d’acord amb els nous paradigmes, l’estat, en les seves diverses facetes (governs nacionals, regionals i autoritats locals), es torna a situ-ar al centre de la provisió de serveis, per bé que n’hi ha diversos models, que van des de la provisió directa fins a la contractua-lització amb altres actors privats, tenint en compte que l’accés a aquests ja no és no-més una qüestió de necessitat, sinó de dret de la ciutadania.

de manera generalitzada, les ongd com-parteixen aquesta concepció, com es des-prèn de les seves declaracions de principis i de l’evolució que han fet els seus progra-mes i fins i tot la seva organització; per tant, entenen que cal aportar des de la comple-mentarietat i el respecte dels principis de subsidiarietat, amb relació tant als estats

ongd, i les obliga a repensar les seves es-tructures de finançament i partenariat.

3. Conclusions i impacte en l’agenda de seguiment i avaluació de les ONGD

En definitiva, sembla que hi ha un consens internacional, pel que fa als principals sta-keholders (partícips) del desenvolupament, amb relació al fet que no es tracta només d’una qüestió econòmica i tècnica, sinó de la confluència de processos molt complexos de canvi, que inclouen una dimensió institu-cional i política rellevant, en què la qüestió de l’apropiació és fonamental i per als quals són necessàries negociacions i aliances en-tre la multiplicitat d’actors implicats a tots els àmbits, respectant la seva identitat i les

FINANÇADOR CLÀSSIC: SUBVeNCIONS A ONGD

Relació donant-ongd clàssica Suport i finançament

d’iniciatives i prioritats d’ongd (en general seleccionades per convocatòria) Escassa focalització

estratègica del donant (únicament temàtica o geogràfica)

Treball en conjunt per a la definició de prioritats compartides (superació de la relació clàssica estrictament financera) negociació de prioritats

entre el donant i l’ongd Alineació estratègica

d’objectius del donant / objectius de l’ongd

LÒGICA De PARTeNARIAT PReSTACIÓ De SeRVeIS: eXeCUCIÓ D’UN PROGRAMA

PROPIO

ongd com a agència d’execució d’un programa del donant (com si es tractés d’un servei de consultoria) ongd executa prioritats,

estratègia i programa de treball i activitats del donant Selecció de l’ongd per la

seva potencial contribució al programa (selecció directa o mecanismes de mercat)

39

manitàries? Com analitza ConCoRd,12 dins el que podem considerar una tipologia una mica àmplia, les ong europees de desenvo-

12 «Background note» (2004).

sobirans, com a les organitzacions vernacles de la societat civil, i alhora pressenten que la mobilització i la sensibilització de la ciu-tadania són eixos centrals en el nou ordre global que es va dibuixant. Tanmateix, la ve-ritat és que encara hi ha moltes organitzaci-ons embrancades en complexos processos de redefinició estratègica de les seves mis-sions i els seus mandats, atesa la profundi-tat que suposa l’exercici de qüestionament i de canvi per assumir les noves responsa-bilitats, alhora que s’abandonen posicions i maneres de fer ara obsoletes. I és que no es tracta d’un qüestionament senzill per a moltes organitzacions, ja que posa sobre la taula posicionaments polítics i el tema de la seva pertinència i el seu rol, i això pot, en al-guns casos, arribar fins i tot a qüestionar-ne la supervivència. Però, tot i que no és sen-zill, és absolutament necessari. Com recull Sarah Lister (2004) en un article publicat per a Bond,11 «Si les ongd volen contribuir en el món actual, ràpidament canviant, s’han d’implicar en seriosos processos de reflexió i decisió estratègica.»

3.1. Algunes pistes per a la construcció d’una nova visió de les ONGD

Quines són aleshores les pistes per a la cons-trucció d’una nova visió de les ong? Cap on caminen les ong de desenvolupament i hu-

11 «British overseas ngos for development».

La visió de CONCORD

L’eradicació de la pobresa és un objectiu també polític, que necessita propostes i mesures que vagin més enllà de les dimensions econòmiques i tècniques, i que integrin aspectes com la pro-moció de l’equitat i la protecció social o la lluita contra la discriminació, entre d’altres. Les ongd europees poden ocupar un lloc privilegiat dins d’aquesta concepció, tenint en compte la seva posició «en el front» en la lluita contra la pobresa, en diversos països i a diversos nivells. En efecte, les ongd europees poden tenir un paper central, atès que relacionen i vinculen els ciutadans i els seus moviments, per impulsar no tan sols inicia-tives concretes de desenvolupament, sinó, i això encara és més important, per sensibilitzar-los, mobilitzar-los i poder exercir pressió sobre els go-verns i les institucions multilaterals.

Per a ells cal que les ongd assumeixin les se-ves noves responsabilitats en el nou ordre global que es va definint, per reflexionar i repensar sobre els seus rols i les seves activitats. Segurament la mobilització i la sensibilització dels ciutadans, en-torn de la causa global d’eradicació de la pobresa i la promoció de la justícia i l’equitat social, consti-tueixen un àmbit d’actuació fonamental per a les ongd europees. El desafiament rau precisament en com es pot integrar aquest àmbit de la sensibi-lització i l’educació per al desenvolupament amb la resta dels objectius operatius i de pressió política, i quin pes cal atorgar a cadascun d’aquests àmbits.

40

lupament i humanitàries poden tenir un perfil polític o operacional, ja que intervenen tant al nord com al Sud. no es tracta ara de discutir aquí si aquests dos rols són complementa-ris o antagònics; una discussió que continua sent vigent. només cal recordar, com a pro-posta de solució a aquest dilema intermina-ble sobre el rol de les ongd, i més àmplia-ment de les organitzacions de la societat civil (oSC), l’esquema que proposa Alan Fowler.13 Segons aquest esquema, partint d’una visió

13 A «Civil society and international develop-ment», Brian Pratt (2003).

sistèmica i complexa de les oSC que supera les tradicionals concepcions,14 hi ha una ten-sió constant entre aquests rols. Aquesta ten-sió, a més, és una font de generació d’«ener-gia social» i els seus resultats dependran de les configuracions específiques de les capa-citats, les convencions, les normes, les divi-sions del treball i els sistemes d’adaptació i reproducció institucionalitzats. La tensió i el resultat d’això es poden il.lustrar a partir de la figura següent, elaborada per l’autor:

14 L’autor es refereix a tres concepcions de la so-cietat civil que han quedat molt de temps en el discurs social: (i) la perspectiva triàdica, que rela-ciona societat civil amb estat i sector privat; (ii) la perspectiva política i de drets, que emfasitza la re-llevància de la ciutadania i els drets humans; i (iii) la perspectiva dinàmica, confluencial i contextual (la denominada «arena perspectiva» pels estudio-sos anglosaxons), segons la qual la societat civil no té límits clars i ocupa, segons cada context, un espai de confluència entre l’estat, la família (com a institució) i el mercat.

41

Explicacions sobre el progrés i el canvi

Visió integradoraHarmoniaConsens Paternitat

Visió alternativadiferència de podersContencióResolució

Tensió estructural com a font d’energia

social

Cooptació Negociació

CoercióResistència

Font: Fowler en Pratt (2003)

¿Suma zeroo positiva?

Sistema sociopolític- naturalesa de l’autoritat- normes i mecanismes polítics

- Clima de confiança- Legitimitat i transparència del règim

- Exclusió/inclusió- Polítiques assignant tasques

Sistema socioeconòmic- divisió esferes público privades- distribució de la propietat econòmica

- Modes de producció i distribució

- Accés (guanyadors i perdedors)

Cofiguracions específiques de

capacitats, convencions, normes,

divisions de treball, i sistemaes d’adaptació

i reproducció institucionalitzats

Sistema cívic- Interessos- drets i obligacions- necessitats

Il.lustració 1: Visió complexa i adaptativa sobre les OSC

43

Enfortiment del desenvolupament socioeconòmic a 7 zones rurals de la República dominicana. Fundación Cume. 2008

44

seu mandat i el seu posicionament polític, participar-hi i fins i tot liderar-les.

• Accions de sensibilització i educació ciu-tadana per generar un coneixement i una sensibilitat més grans i promoure, tant com sigui possible, canvis d’hàbits i conductes, en les seves pròpies societats, sobre la seva pròpia realitat o sobre la realitat d’al-tres societats del Sud, per tal d’aconseguir més justícia social.

d’altra banda, i com a rol més operatiu de les ONGD —i que es correspon més amb la visió majoritària que hi hagut en aquest sentit—, la tasca de les ongd, que també oscil.la entre les dues visions analitzades per Fowler, pot ser:• Des de la tradicional provisió de serveis

socials, tot i que, això sí, d’una manera reno-vada; és a dir, quan aquests serveis no són coberts per les autoritats públiques locals, regionals o nacionals, ni per organitzacions vernacles (com passa, per exemple, en cas humanitari) i sempre que la prestació es faci a partir d’una lògica reflexiva, pertinent, adaptada i integrada en el context i les po-lítiques locals; fonamentada en la comple-mentarietat, la subsidiarietat i la progressiva transferència de coneixements i competèn-cies; i evitant, costi el que costi, fenòmens com la descapitalització d’organitzacions locals, per exemple, per a la contractació de personal local per a l’execució dels pro-jectes, o la permanència com a prestador del servei ad aeternum. Les nocions de per-tinència, rellevància, impacte i durabilitat, i

El rol polític de les ONGD (que d’acord amb la figura de Fowler encaixaria tant en una visió d’integració com en una d’adaptativa, depe-nent del context polític, tot i que cal admetre que sovint, en la pràctica, les oSC exerceixen d’«estendards d’una visió alternativa», cosa que de facto suposa moltes vegades actuar com a «contrapoder», per poder arribar, en darrer terme, a integrar la seva visió en les polítiques i els programes dels governs i les agències de cooperació, a partir del consens) s’associa fonamentalment, com proposa ConCoRd, a les tasques analítiques i de di-àleg polític entorn de les polítiques internaci-onals i/o nacionals que tenen un efecte en la reducció de la pobresa i en el desenvolupa-ment econòmic i social. En la pràctica, aquest perfil polític suposa que les ongd se centren en dos tipus d’activitats:• Accions de «passadissos» (lobby) i in-

cidència política (advocacy) a través de l’anàlisi de polítiques, la participació en els espais de diàleg i el seguiment de polítiques governamentals i multilaterals. L’objectiu és poder arribar, com avançàvem en el pa-ràgraf anterior, a influir en les estratègies i les polítiques dels governs i les agències, de manera que aquestes siguin més sensi-bles i efectives en la lluita contra la pobre-sa i el desenvolupament econòmic i social. Algunes d’aquestes accions són «de des-patx», però n’hi ha d’altres que poden tenir una forta dimensió política i de mobilització social (protestes massives, vagues, etc.), i algunes organitzacions poden, segons el

45

tota l’anàlisi política que comporten, són, per tant, fonamentals, més enllà dels cri-teris tradicionals d’eficàcia i eficiència en la consecució d’objectius i l’ús dels recursos. Es tracta, en definitiva, d’una nova lògica de provisió de serveis, que supera la «miopia» dels projectes i que exigeix noves capaci-tats, no sols tecnocràtiques, sinó també po-lítiques.

• Fins a l’acompanyament dels actors de la societat civil, amb vocacions tant ope-ratives com polítiques, i el reforç de les seves capacitats per complir millor la seva missió, a partir d’una lògica d’horitzontali-tat, reciprocitat i partenariat, utilitzant una àmplia gamma de pràctiques i instruments en matèria d’enfortiment institucional (as-sistència tècnica i tutoria d’organitzacions, formacions específiques i generals, inter-canvis, foment del teixit associatiu i de la creació de xarxes, capitalització de bones pràctiques, tasques de seguiment i avalua-ció dels seus programes, desenvolupament de sistemes de captació de fons, etc.). no es tracta únicament d’ajudar les organitza-cions del Sud (terme que inclou una àmplia gamma d’actors més enllà de les ongd) a ser «més bons tecnòcrates de projectes» i complir millor les obligacions que es deri-ven de les cadenes de finançament (redac-ció d’informes, elaboració de marcs lògics, etc.). El reforç de capacitats implica també teixir aliances i partenariats per contribuir a enfortir les missions polítiques de les orga-nitzacions locals, i fer-ho construint a partir

Organitzacions que es transformen

Una organització que ha reaccionat amb contun-dència davant el context i ha transformat la seva estructura global i la seva forma de govern intern és ActionAid. En els últims anys, ActionAid s’ha metamorfosat: ha suprimit la seva estructura de li-deratge central al nord, ha descentralitzat les seves oficines centrals al Sud i ha deixat al nord funcions de suport (com la captació de fons, la capitalització, l’aprenentatge, etc.), i ha implementat incentius in-terns per al treball en partenariat.

Un altre exemple de transformació són algunes or-ganitzacions de segon nivell i consorcis d’ongd. És el cas de PSO, als Països Baixos. Inicialment, PSo finançava i facilitava únicament l’enviament de cooperants de desenvolupament holandesos a llarg termini. noves nocions sobre el desenvolupament i la cooperació van conduir a un canvi que va com-portar la transformació de la missió i el posiciona-ment de l’entitat. Avui, la missió de PSo diu el se-güent: «La missió de PSO és combatre de manera estructural i sostenible la pobresa als països en desenvolupament, mitjançant el desenvolupament de la capacitat de les organitzacions de la societat local». PSo té activitats en cinc àrees: serveis bà-sics socials, societat civil, bon govern, resistència econòmica i ajuda humanitària. dins d’aquestes cinc àrees, PSo posa l’èmfasi en el desenvolupa-ment de la capacitat en tres nivells: el desenvolupa-ment de recursos humans, l’enfortiment organitza-tiu i el desenvolupament institucional. PSo vol arri-bar a aquest desenvolupament donant suport a la col.laboració entre organitzacions holandeses i les seves contraparts als països en desenvolupament, i mitjançant el foment de l’intercanvi i el desenvo-lupament de coneixements sobre el desenvolupa-ment de la capacitat.

46

volupament o focalitzat en contextos humani-taris, etc.—, la veritat, com diem al llarg de tot aquest capítol, és que les ongd estan empe-ses a assumir les seves responsabilitats en el nou ordre global que es va delimitant i a redefinir, en definitiva, els principis que fona-menten la legitimitat de la seva acció.

La nostra tesi és que aquest exercici de res-ponsabilització i relegitimació, que comença necessàriament amb l’autocrítica i la refle-xió a l’entorn del rol assumit en el passat i del que fidedignament es pot assumir en els nous escenaris que es perfilen, no es pot fer convenientment si les organitzacions no dis-posen de sistemes i capacitats renovats de seguiment i avaluació, adequats a les noves exigències de l’entorn, que fugin de les con-cepcions «matemàtiques» del desenvolupa-ment i que integrin nocions com ara el canvi social i la possibilitat d’experimentació i d’er-ror, atents a la dualitat de públics objectius de les organitzacions i que permetin, a més, capitalitzar els aprenentatges. Com defensen Fowler (1997) i Sarah Lister (2004), entre al-tres experts, els bons resultats són la primera baula en la cadena de la legitimitat. Per això és important desenvolupar capacitats per al seguiment i l’avaluació de l’acompliment i demostrar, en definitiva, l’impacte que té la feina de les ongd. Recordem les paraules amb què iniciàvem aquest capítol tot fent referència a la rendició de comptes. Abans, segurament n’hi havia

de les seves pròpies capacitats, fortaleses i oportunitats. I és precisament aquesta se-gona vessant de l’enfortiment institucional la que es converteix en un nou repte per a les ongd del nord amb vocació d’acompa-nyament de les oSC del Sud. Com analitza-va un expert del sector,15 «Hi ha una gene-ració de capacitats tecnocràtica i hi ha una generació de capacitats política. Em temo que sovint prenem el camí fàcil de l’opció tecnocràtica perquè manté el nostre poder, mentre que l’altre camí el qüestiona.» En altres paraules, ja no es tracta de reforçar les capacitats de planificació, execució de projectes, seguiment i avaluació de les «contraparts». Ja no hi ha «contraparts», sinó actors autònoms, amb els quals s’esta-bleixen relacions i es construeixen aliances, amb tot el que això comporta.

3.2. Impacte en els sistemes de seguiment i avaluació

Sigui quin sigui el posicionament que final-ment esculli una ongd —més operatiu o més polític, o una combinació de tots dos; centrat en el reforç de capacitats dels actors de la societat civil del Sud o en la provisió de determinats serveis socials; orientat al desen-

15 «Challenges of being a northern ngo: The UK experience», Richard Bennett, secretari general de Bond, amb motiu del debat sobre el rol de les ongd, Assemblea general de ConCoRd, 25 de novembre de 2004.

47

tervenció molt més complexes, ambigües i intangibles, sinó que quan aquests es mante-nen com a modus operandi, tenen ben poc a veure amb els que es feien abans.

Com proposen Esther Mebrahtu, Brian Pratt i Linda Lönnqvist,16 «Les ongd han d’elaborar nous sistemes de seguiment i avaluació (SiA) capaços de captar i aprehendre tota la riquesa i tota la complexitat que integra l’experiència de desenvolupament. Fins que això no sigui possible, potser el millor que poden fer les organitzacions és assegurar-se que els seus sistemes de SiA en darrer terme no suprimei-xen els brillants colors del desenvolupament, transformant-los en un gris uniforme, en un intent de modelitzar i catalogar les experièn-cies en compartiments identificables.»

Esther Mebrahtu, Brian Pratt i Linda Lönnqvist (2007).

prou amb informar sobre la quantitat de di-ners invertits en la captació de fons i altres activitats de gestió. Ara, en canvi, aquesta informació és irrellevant. El que realment és important és demostrar, en primer lloc, que el treball que duen a terme les ongd és per-tinent i té un impacte, i a més, que aquest impacte és adequat a cada situació i context. En definitiva, cada cop més es demana a les ongd que es converteixin en organitzacions que aprenguin.

I això implica un canvi substantiu en els siste-mes de seguiment i avaluació, particularment ara que les ongd se senten empeses a mo-dificar les seves intervencions puntuals d’an-tany: no sols els projectes operatius perden importància davant de noves modalitats d’in-

48

Capítol 2: Aproximació als sistemes de seguiment i avaluació en les ongd espanyoles

49

actors de la cooperació espanyola responen a les noves demandes del context internaci-onal? Existeix un entorn institucional i jurídic que afavoreixi el reposicionament d’aquests actors? Les ongd espanyoles estan prepa-rades per assumir les noves responsabilitats que es plantegen?

Són preguntes que requereixen una reflexió profunda, que va més enllà dels objectius d’aquest llibre, però que creiem que és de vital importància tenir present per abordar la qüestió central que ens preocupa: els siste-mes de seguiment i avaluació de les ongd espanyoles.

Així, sense voluntat d’exhaustivitat i atesa la importància que el context té sobre la missió, els objectius i els mecanismes d’intervenció de les ongd i, per tant, sobre els seus sis-temes de seguiment i avaluació, plantegem un segon capítol en el qual, en una primera part, destaquem els elements més significa-tius de l’entorn institucional i jurídic espanyol que influeixen sobre el reposicionament de les ongd espanyoles en el nou context de la cooperació internacional i que poden con-

El nou context internacional i els canvis esde-vinguts en l’àmbit específic de la cooperació al desenvolupament plantegen, com ja hem analitzat, reptes importants. Els referents in-ternacionals es modifiquen, els paradigmes de desenvolupament evolucionen i l’arqui-tectura de l’ajuda sofreix transformacions importants.

En aquest nou entorn, el tradicional rol dels diferents actors de la cooperació es qüesti-ona i es redefineix, i alhora apareixen nous protagonistes. Estats, agències de coopera-ció i ongd es veuen obligats a revisar les se-ves visions respectives i les seves arrelades formes d’intervenció. Es tracta d’una revisió profunda que afecta sobretot les ong de desenvolupament, les quals, en el nou ordre internacional que es perfila, veuen que han d’assumir noves responsabilitats i reafirmar les seves fonts de legitimitat. És evident que som en un moment crític que marcarà el futur de la cooperació al desenvolupament.

Es plantegen en aquest punt diverses qüesti-ons importants. Com es viuen aquestes trans-formacions en l’àmbit espanyol? Els diferents

50

que ens han de permetre comprendre les ca-racterístiques principals d’aquests sistemes i apuntar quins són els grans reptes que cal resoldre. Els resultats aquí exposats són fruit d’entre-vistes semiestructurades, complementades amb l’anàlisi documental sobre els sistemes de seguiment i avaluació que ens han propor-cionat algunes organitzacions, i també amb informació publicada sobre aquests siste-mes, si n’hi ha. És un apartat construït, com tota anàlisi qualitativa, principalment a partir de la visió subjectiva de les mateixes ongd, els donants i els experts del sector. Podríem dir que el diagnòstic recull la fotografia que les ongd tenen dels seus sistemes de se-guiment i avaluació, corregida pel punt de vista múltiple d’alguns donants, d’experts del sector i de bibliografia diversa i interpretada pels autors d’aquest manual. Per a això s’han entrevistat unes vint ongd, i també diferents fundacions, organismes públics, associacions d’ongd i experts del sector.

Les persones i les organitzacions entrevista-des s’han seleccionat sobre la base de dife-rents criteris. En primer lloc, s’ha prioritzat la realització d’entrevistes a organitzacions que, ja sigui per les seves dimensions, ja sigui per la seva especificitat o bé perquè les han re-ferenciades altres entrevistats o bibliografia diversa, es considerava que podien haver re-flexionat amb més profunditat sobre els sis-temes de seguiment i avaluació. Per evitar

tribuir a la construcció d’una cultura orientada a l’aprenentatge en les ongd espanyoles, o bé que poden dificultar-la. En primer lloc, en el capítol es fa una breu anàlisi de les transformacions recents de l’en-torn politicoadministratiu en l’àmbit de la coo-peració espanyola. Aquestes transformacions es configuren, juntament amb l’evolució del suport popular a les ongd, en forces impul-sores de nous paradigmes d’intervenció i en elements clau per a la definició de nous sis-temes de seguiment i avaluació. En confron-tació amb aquestes transformacions, trobem, com a forces que dilueixen aquest impuls, l’encara preponderant cultura del pressupost en l’Administració pública i la multiplicitat d’actors presents en la cooperació espanyo-la; tot i que aquest últim element es configura avui dia com un fre a l’aprenentatge, amaga un gran potencial.

Un cop entesos els elements de l’entorn que poden influir de manera significativa en el rol de les ongd i en la construcció d’una cultura de seguiment i avaluació orientada a l’apre-nentatge, el capítol ja se centra en la realitat d’aquests sistemes. Així, en aquesta segona part es fa una breu aproximació als actuals sistemes de seguiment i avaluació de les ongd espanyoles. Som davant d’un esforç de diagnòstic que té com objectiu prioritari veure quins són els elements que en les en-trevistes realitzades i la bibliografia consulta-da s’han evidenciat com a més significatius i

51

I. El nou entorn politicoadministratiu en l’àm-bit de la cooperació al desenvolupament

II. La cultura pressupostària de l’Administra-ció pública espanyola

III. La multiplicitat d’actors en la cooperació al desenvolupament

IV. L’evolució de l’actitud de la societat i les empreses envers les ongd

1.1. el nou entorn politicoadministratiu en l’àmbit de la cooperació al desenvolupament

La política espanyola de cooperació al desen-volupament ha experimentat en els darrers quatre anys (des de mitjan 2004) un con-junt de reformes molt significatives que han transformat el marc politicoadministratiu en què se situen els programes i els projectes de desenvolupament i les intervencions de les ongd. Aquesta transformació té i tindrà

que les conclusions extretes se centressin excessivament en organitzacions de grans di-mensions i poguessin, per tant, desvirtuar el diagnòstic, es va optar per seleccionar també un grup d’organitzacions petites i mitjanes. La informació extreta d’aquestes entrevistes ha estat fonamental no tan sols per a la realit-zació d’aquest diagnòstic, sinó per a l’elabo-ració del conjunt d’aquesta publicació. Així, la raó de la selecció de molts dels temes que apareixen s’explica perquè han aparegut de manera reiterada en les entrevistes.

1. el marc institucional i jurídic

El marc institucional i jurídic espanyol intervé, com hem esmentat, en la configuració dels nous rols dels diferents actors de la coopera-ció espanyola i té una influència decisiva en la construcció d’una cultura concreta de segui-ment i avaluació.

Parlem d’un marc que, per la seva amplitud, es pot analitzar des de moltes perspectives. Conscients d’això, hem optat per fer una aproximació que destaqui els elements que han aparegut reiteradament, considerats en les entrevistes com els més transcendents per al sector i que tenen un impacte impor-tant en els sistemes de seguiment i avaluació de les ongd.

Així, s’analitzen quatre aspectes clau:

52

global de Lluita contra la Sida, la Tuberculosi i la Malària, entre d’altres. El Pla director 2005-2008 referma aquesta voluntat, s’alinea amb els objectius de desenvolupament del Mil.lenni i prioritza la qualitat de l’ajuda subscri-vint els principis de la declaració de París so-bre Eficàcia de l’Ajuda.

La qualitat de l’ajuda s’ha convertit així en un dels objectius fonamentals dels canvis afron-tats en aquest període, en què el volum de l’Aod ha crescut del 0,24 del PIB, que era on estava el 2004, fins al 0,42 el 200720 i l’espe-rat 0,5 el 2008.21 no hem d’oblidar, però, que som davant un augment pendent de conso-lidació. Com recull José Antonio Sanahuja,22 «El creixement, tot i que és important, s’ha produït sobretot a través de mecanismes que no són sostenibles, com la condonació del deute […] o bé, mitjançant accions puntuals, com ara esmenes al pressupost […]. Al ma-teix temps, els fons destinats a modalitats “tradicionals” d’ajuda i a nous instruments gestionats per l’AECId, per bé que han regis-trat un fort creixement, continuen represen-

20 Entre el 2004 i el 2007 l’Aod va créixer un 116 % i va passar de 1.985 milions d’euros a 4.289 milions d’euros.

21 Aquest augment en el volum de l’ajuda no està exempt d’elements crítics. Per aprofundir en l’anàlisi d’aquests elements, vegeu l’informe «La realitat de l’ajuda 2006-2007», Intermón oxfam.

22 José Antonio Sanahuja, «La política de coope-ración española a partir de 2008: el reto de culmi-nar las reformas», QUoRUM, núm. 19.

un impacte clar en els sistemes de planifica-ció, seguiment i avaluació dels programes de desenvolupament.

En primer lloc, podem parlar d’un canvi en la mateixa concepció del valor i el contingut de la cooperació internacional, que ha passat a formar part integral de la política exterior. En aquest sentit i com indica Juan Pablo de Laiglesia,17 «no ha estat casual que el Minis-teri d’Afers Exteriors hagi passat a denominar-se Ministeri d’Afers Exteriors i Cooperació».18 És un canvi que ha coincidit, a més, amb una clara voluntat del govern d’inserir la política exterior i la política de cooperació en els con-sensos internacionals, en un clar esforç per multilateralitzar aquesta política.19 Així doncs, podem destacar l’important augment del vo-lum de recursos dedicats a la cooperació mul-tilateral, a través de les aportacions a organis-mes internacionals no financers o la contribu-ció als grans fons multidonants, com el Fons

17 Juan Pablo de Laiglesia, «Balance de tres años de política española de cooperación al desarrollo», QUORUM, núm. 19.

18 El canvi de nom reflecteix, a més, la volun-tat del govern d’enfortir el paper de lideratge d’aquest ministeri en l’àmbit de la cooperació; un paper que, en realitat, tradicionalment no ha tin-gut, ja que els ministeris d’Economia i Hisenda i de Comerç i Indústria han estat els que han con-trolat habitualment la major part dels recursos de la cooperació.

19 Segons el PACI 2007, la cooperació descentra-litzada s’hauria de situar prop del 50 % del total de l’Aod espanyola.

53

tervencions de les ongd, podem destacar la publicació del II Pla director de Coopera-ció Espanyola 2005-2008, els plans anuals i les estratègies país i sectorials. Tots aquests documents s’han obert a la participació dels actors de la cooperació i, per primer cop, dis-posen d’objectius específics, quantificats i avaluables, cosa que constitueix un element clau per desenvolupar estratègies de segui-ment i poder avaluar els resultats i l’impac-te de les estratègies i les línies d’intervenció plantejades.

d’altra banda, no hem d’oblidar el nou siste-ma de relacions i finançament establert amb les ongd. La novetat més destacada en aquest punt ha estat la instauració del procés de qualificació d’ongd i el finançament de convenis de cooperació plurianuals. Tenim un nou instrument que estableix les bases d’un nou sistema de relació entre les ongd i l’AE-CId, que ha de permetre que es planifiqui i es rendeixin comptes més sobre la base de resultats i impactes prèviament consensuats que no pas sobre la base de mers termes econòmics; un instrument fundat, en principi, en la confiança en els actors, enfocat als re-sultats i que configura un nou patró de finan-çament per a les ongd espanyoles. És un instrument que el sector de les ongd valora en general positivament, malgrat l’excessiva càrrega administrativa que comporta execu-tar-lo, però que no està exempt de riscos sig-nificatius, com per exemple, entre d’altres, el fet que la desigualtat de poder entre negoci-

tant una part relativament petita de l’ajuda. En particular, l’Aod canalitzada per l’AECId suposa aproximadament una sisena part de l’Aod total i la meitat dels recursos assignats al Ministeri d’Afers Exteriors i Cooperació, que només està lleugerament per damunt dels que executa el Ministeri d’Economia i Hisenda.»

Aquest compromís amb la qualitat ha conduït a l’aparició de novetats importants, en la lí-nia dels canvis analitzats en el capítol 1, entre les quals podem destacar l’avanç en l’ús de nous instruments de cooperació, com els en-focaments sectorials amplis, i les mesures de suport pressupostari o la participació activa, com la dels països impulsors de l’Aliança Fi-nancera Internacional per a la Vacunació.

d’altra banda, i en l’àmbit nacional, el com-promís amb la qualitat ha implicat l’aplicació d’un conjunt de canvis que han tingut com a objectiu facilitar la coordinació dels actors i fomentar-ne la participació, fins a arribar a un nivell d’harmonització més alt; millorar la planificació i la programació de l’ajuda, per aconseguir més coherència i eficàcia i més apropiació per part dels països socis; i perfec-cionar els instruments disponibles en tots els àmbits, però especialment en el del segui-ment i l’avaluació.

d’entre aquests canvis, pels efectes actu-als i futurs que tenen sobre els sistemes de planificació, seguiment i avaluació de les in-

55

Programa de suport al desenvolupament socioeconòmico ambientalment sostenible, de les comunitats del municipi de Torno. Ceam. Bolívia 2008

56

Un altra novetat important és la introducció —a través de la nova llei de bases de sub-vencions a ongd, ordre AEC/1303/2005, de 27 d’abril— de l’obligació de fer avaluacions intermèdies en tots els convenis i totes les avaluacions finals en tots els projectes que disposin d’un finançament de l’AECId superi-or a 350.000 euros.

Tots aquests canvis suposen, com indica Ru-bén Cano,23 «un pas quantitatiu per avançar en la difusió d’una cultura valorativa entre les ongd, però la pregunta que ens podem fer és: Això és un avanç en termes qualitatius o correm el risc de convertir las avaluacions en un requisit administratiu més?» I aquest és un dels riscs d’un sistema que no hem d’obli-dar que està en una etapa de desenvolupa-ment molt inicial i que s’ha de consolidar, i del qual s’hauran de corregir els aspectes que no funcionin.

Vivim, doncs, un moment de canvi crític. Hi ha encara transformacions pendents, com la iniciada en l’AECId, i temes en els quals caldria introduir importants millores (destina-ció de l’ajuda, comprovació dels instruments, etc.). Però, en general, podem dir que l’en-torn polític sembla que acompanya una trans-formació del marc institucional i jurídic de la cooperació al desenvolupament espanyola en el qual la qualitat de l’ajuda i, per tant, l’apre-

23 Rubén Cano, «de la evaluación de la gestión a la gestión de la evaluación: visión desde una ongd», Foro Aod.

adors en el moment d’acordar els programes d’intervenció i el contingut dels convenis pot forçar les ongd a assumir programes no compartits, amb la qual cosa es poden con-vertir en simples «subcontractistes» de les polítiques estatals.

En l’àmbit específic de l’avaluació i el segui-ment, cal esmentar concretament la creació de la direcció general de Planificació i Ava-luació de Polítiques de desenvolupament (dgPoLdE), que ha substituït l’antiga oficina de Planificació i Avaluació (oPE). La creació d’aquesta nova direcció general és una mos-tra de la voluntat de donar més pes polític a l’avaluació, encara que els resultats d’aquest canvi, per la seva mateixa novetat, encara no han estat evidents. de tota manera, no es pot negar l’avanç que significa la presen-tació pública de les avaluacions realitzades —pràctica iniciada l’any 2004— i la revisió metodològica dels mecanismes d’avaluació per part d’aquesta direcció, que s’ha plasmat en una publicació sobre el tema i, sobretot, com indica Larrú (vegeu La realidad de la ayu-da, 2006-2007), l’enfortiment del nexe plani-ficació-avaluació: «La dgPoLdE ha inclòs el component valoratiu en la metodologia d’ela-boració dels plans de país amb la finalitat que aquestes avaluacions retroalimentin els plans següents. El PACI 2006, pel fet que conté di-rectrius i metes més concretes que els ante-riors, és més avaluable i ha dedicat per pri-mera vegada un epígraf específic a l’avaluació (directriu VIII).»

57

les l’any 2006 provenien de fons públics, un 47,1 % dels quals eren fons d’administraci-ons públiques espanyoles. És una xifra que ens dóna una primera pista de l’impacte que les actuacions d’aquestes administracions poden tenir sobre les estructures i els meca-nismes de gestió de les ongd. Cal recordar que la cultura, l’estructura i les formes d’in-tervenció de les administracions públiques es converteixen en elements clau per entendre la manera d’organitzar-se i gestionar-se de moltes empreses i entitats.

Parlem d’una cultura de gestió basada en una visió tradicional del pressupost. Els departa-ments, programes, etc., disposen d’un pres-supost assignat que han de gastar i justificar. La restricció és en els inputs (principalment, el pressupost) i, per tant, el control es fixa en l’ús d’aquests segons els pactes (princi-pi d’economia), i es deixa la consecució de resultats en segon terme. És a dir, es tracta d’un enfocament que limita l’anàlisi i l’avalu-ació al compliment de la norma (prèviament pactada) i, en el millor dels casos, a la produc-ció de béns i serveis (outputs) de manera efi-cient, és a dir, a l’obtenció del màxim nombre d’outputs per input. Podríem dir que el més important és gastar, si es pot eficientment, i produir. Però el sistema no valora —no crea incentius ni mecanismes per fer-ho— si el que es produeix és pertinent i útil. Tot i l’exis-tència de grans línies discursives en un altre sentit, malauradament l’avaluació dels resul-tats i impactes no està encara integrada en

nentatge dels errors i el seguiment i l’avalua-ció es convertiran en elements clau. El dubte que es planteja és si els mecanismes creats seran suficients o útils per impulsar una nova cultura d’avaluació en un marc global en què, com veurem, la cultura pressupostària encara és el més important; i si rebran l’impuls poli-ticoadministratiu suficient a llarg termini i no els modificaran a curt termini.

1.2. La cultura del pressupost en l’Administració pública espanyola

Malgrat els esforços de modernització dels últims anys i l’aparició de nous paradigmes sobre gestió pública, trobem encara, en gran part de l’Administració pública espanyola, una cultura de gestió centrada fonamentalment en el control de la despesa i el pressupost. Aquesta cultura es converteix en el fonament dels mecanismes de gestió, seguiment i ava-luació de les subvencions concedides i deter-mina en darrer terme la forma que aquestes administracions es relacionen amb els actors de la societat civil. És, doncs, una caracterís-tica clau, que per la seva permanència en el temps i el seu impacte pressupostari, ha in-fluït decisivament en la filosofia i les formes de gestió de molts dels actors de la societat espanyola i, en concret, de moltes ongd.

Segons dades de l’«Informe de la CongdE sobre el sector de les ongd 2007», més del 55 % dels ingressos de les ongd espanyo-

58

da: l’important és que un projecte o un pro-grama gasti el que s’ha programat, i si és de manera eficient, millor. El sistema premia qui dedica recursos al control d’inputs i outputs, i no qui aprèn dels errors i corregeix sobre el que s’havia planejat. Malgrat que en els úl-tims anys s’ha fet èmfasi en la importància de l’avaluació de resultats i impactes i fins i tot s’ha introduït l’obligació de fer avaluacions en aquest sentit —almenys en l’àmbit de la co-operació al desenvolupament—, els resultats d’aquestes no són determinants. Com és sa-but, el rol de l’interventor continua sent clau en el sistema de seguiment i avaluació de les subvencions públiques.

La llei de subvencions: el marc jurídic global en el qual es desenvolupa el seguiment i l’avaluació

Partint d’aquesta premissa, és comprensible que els requisits exigits per a la presentació de subvencions i la seva justificació, que re-cull la Llei 38/2003, de 17 de novembre, ge-neral de subvencions, es converteixin en una font de preocupació per al sector. Aquesta llei té la voluntat d’esdevenir el marc jurídic de referència de totes les subvencions públiques que es concedeixen a Espanya. Es tracta d’un marc que era necessari per donar coherència i unificació a l’enorme dispersió existent i, per bé que deixa marge d’actuació a les bases reguladores de cada convocatòria, apunta alguns elements que difícilment pot complir el sector. Ens referim, per exemple,

la filosofia de gestió de la major part de les administracions públiques.

Som, per tant, davant d’una cultura caracte-ritzada per la rigidesa i que dificulta en gran manera el desenvolupament de mecanismes d’aprenentatge. Afortunadament, és en pro-cés de canvi: un canvi lent, però continuat. Aquesta cultura en què se situen les ongd ha estat, i en molts casos continua sent, el fonament del marc relacional entre l’Admi-nistració i les ongd. És una relació que es construeix, des d’aquesta perspectiva, sobre la base de l’assignació de pressupostos per a l’execució de projectes amb sistemes es-trictes de seguiment i justificació econòmica: uns mètodes que no haurien de ser l’eix fona-mental dels sistemes de seguiment i avalua-ció de les subvencions públiques.

La major part de les ongd entrevistades ar-gumenten que el rigor excessiu en els temes de justificació econòmica els limita la capaci-tat d’adaptació i reacció davant de determina-des circumstàncies. Enfront de la flexibilitat acceptada en aspectes relacionats amb la definició dels projectes o programes pel que fa a activitats, productes o fins i tot resultats esperats, sempre que existeixi una argumen-tació lògica, apareix la rigidesa absoluta en tot el que està relacionat amb la justificació eco-nòmica, cosa que en darrer terme comunica un missatge, probablement no buscat, però clar, d’acord amb la cultura de gestió explica-

59

1.3. La multiplicitat d’actors en la cooperació espanyola

A més de la cultura de gestió, el caràcter des-centralitzat del model administratiu espanyol té també un impacte significatiu en la coope-ració internacional al desenvolupament espa-nyola.

La descentralització, juntament amb la manca de lideratge que durant molts anys ha carac-teritzat l’Administració general de l’Estat en l’àmbit de la cooperació, la participació de di-ferents ministeris, poc coordinats entre ells, i l’assumpció per part dels diferents nivells de l’Administració (Estat central, governs auto-nòmics, diputacions, ajuntaments) de la co-operació com un àmbit d’interès propi, han configurat un marc institucional caracteritzat per una dispersió d’estratègies d’intervenció i una multiplicitat d’actors.

És important tenir present que la cooperació descentralitzada espanyola va ser responsa-ble, l’any 2007, del 25 % de l’Aod bilateral i del 15 % del total: unes xifres gens me-nyspreables. Comunitats autònomes i ens lo-cals es configuren, doncs, com a actors molt significatius del panorama de la cooperació espanyola.

La importància d’aquests actors rau, d’una banda, en el paper que tenen com a finança-dors d’altres agents de cooperació, però tam-bé en el rol que fan com a agents interven-

entre d’altres, a la possibilitat de sol.licitar ga-ranties per l’import del 100 % del que s’ha sol.licitat, a haver de justificar el 100 % del valor del pressupost del projecte amb factu-res oficials (sense tenir en compte les dificul-tats que això pot comportar en un determinat entorn, quan es valoren aportacions dels be-neficiaris, etc.), a l’existència d’uns terminis màxims improrrogables molt curts per resol-dre errors o al rol jurídic poc clar atorgat a les contraparts.

És un marc jurídic que, si bé preveu l’incom-pliment dels objectius o les activitats del projecte com a infracció i fa referència a la necessitat de crear un sistema de seguiment dels objectius globals de les subvencions, no defineix mecanismes de seguiment i avalua-ció específics, més enllà dels de control pres-supostari i justificació econòmica.

Aquest marc jurídic era necessari, però en mans d’una Administració pública amb poca orientació cap als resultats i l’impacte té el risc de convertir-se en una barrera més per a l’aprenentatge en el sector.

Per això, el paper que les entitats de segon nivell duen a terme per aconseguir adaptar-se a la realitat del sector és de vital importància. Reduir la càrrega burocràtica i la pressió del ri-gor justificatiu esdevé clau per poder dedicar recursos al seguiment tècnic i a l’avaluació de resultats i impactes.

60

tori. És a dir que, a la multiplicitat d’actors pú-blics, hi hem d’afegir el gran nombre d’actors privats que participen també en l’àmbit de la cooperació espanyola, principalment ongd, però també universitats, sindicats i, cada cop més, empreses: uns actors que no sempre tenen clar el rol que els correspon. És evident que la multiplicitat d’actors és una característica bàsica del nostre sistema de cooperació, que implica unes debilitats molt clares, però que també genera oportunitats importants.

d’una banda, tenim un model que condueix a una dispersió preocupant d’actuacions pel que fa a sectors i països d’intervenció, amb la pèrdua d’economies d’escala que això su-posa; un model en el qual la descoordinació d’actors és evident i en què es produeixen er-rors d’informació que comporten un malbara-tament de recursos, una duplicitat d’esforços o la negligència d’àrees d’actuació que podri-en ser prioritàries; un model en què la disper-sió de recursos genera costos administratius i càrregues burocràtiques elevades; un model que dificulta la generació de mecanismes d’aprenentatge. Però també és un model que disposa de recursos i suports molt diversos; un model en el qual participen actors amb un saber fer (know-how) distintiu i específic que, amb un bon nivell d’especialització i distribu-ció de rols, podrien aportar avantatges com-paratius significatius; un model que, des de la perspectiva de la construcció d’uns siste-

tors directes; actors, gairebé tots, amb prio-ritats pròpies, convocatòries de finançament diferenciades i mecanismes de justificació, seguiment i avaluació específics. Aquesta dispersió complica l’existència d’una cultura comuna d’intervenció i avaluació, com també el desenvolupament d’un aprenentatge com-partit. La dispersió, d’altra banda, fa més com-plexa la gestió administrativa de les ongd i és una càrrega burocràtica més, que limita la capacitat de dedicar recursos a elements que aportin valor afegit real. Les ongd entrevis-tades plantegen la falta d’homogeneïtzació dels formularis de les convocatòries i dels criteris de seguiment i avaluació com un ele-ment que dificulta el seu treball. En aquest sentit, és important destacar l’esforç que al seu moment va fer la coordinadora espanyola d’ongd per presentar una proposta d’homo-geneïtzació de les bases de les convocatòries de subvencions en l’àmbit de la cooperació.

d’altra banda, l’existència de moltes fonts de finançament amb prioritats i àmbits territorials diversos es pot entendre també com un dels elements que expliquen, encara que evident-ment no és l’únic,24 l’aparició i la pervivència al nostre país d’un gran nombre d’ongd. L’any 2007, l’AECId tenia registrades 1.200 ongd espanyoles, i es calcula que, aproximada-ment, eren més de 1.500, aquest mateix any, les que podien estar operatives al nostre terri-

24 L’important suport popular a la cooperació i la tradicional atomització del sector associatiu a Es-panya en poden ser també unes altres causes.

61

del de participació plural basat en la col.labo-ració, la complementarietat i la qualitat, però encara queda molt camí per recórrer. És un model que ha de transformar la manera que es conceptualitzen, es planifiquen, se seguei-xen i s’avaluen les intervencions en l’àmbit de la cooperació al desenvolupament.

1.4. L’evolució de l’actitud de la societat i les empreses envers les ONGD

Espanya té un suport popular important en l’àmbit de la cooperació al desenvolupament. És un suport popular que alguns consideren excessivament mediatitzat i que es mobilit-za, sobretot, en moments puntuals, com és el cas d’algunes campanyes o grans crisis humanitàries, encara que no és tan ampli si n’analitzem les xifres concretes: a Espanya, diuen que donen suport permanent a les ongd, aproximadament, entre el 10 % i el 15 % de la població. Ara bé, cal tenir en comp-te que existeix i, sobretot, ha existit al nostre país una visió generalment molt positiva de la cooperació al desenvolupament i especi-alment de les ongd, que han tingut durant molts anys un suport social molt significatiu.

El suport popular és un dels motius que ex-pliquen el gran nombre d’ongd espanyoles que caracteritzen el panorama de la coopera-ció espanyola i el sorgiment de moltes més que finalment han plegat a mig camí. Segons dades de l’Informe de la CongdE sobre

mes de seguiment i avaluació que permetin aprendre i millorar la qualitat de la cooperació, planteja traves importants, però ofereix grans potencialitats a l’aprenentatge si s’aconse-gueixen superar les limitacions que implica una excessiva atomització i la por a la col.la-boració sincera.

L’aprofitament de les oportunitats que ofereix el model plural de la cooperació espanyola demana l’existència, entre altres coses, d’un clar lideratge per part d’alguns dels actors del sistema. En aquesta línia cal destacar la re-forma impulsada per l’Administració general de l’Estat dels principals organismes respon-sables de la cooperació al desenvolupament i l’impuls de nous instruments que han de fa-cilitar l’alineament de la cooperació espanyola amb alguns dels principis bàsics de la decla-ració de París. El disseny dels Plans directors de Cooperació, concebuts com a instruments de consens i alineació estratègica, així com el replantejament d’alguns dels espais (consells i altres òrgans) de diàleg i concertació, són una mostra dels darrers canvis que ha expe-rimentat la cooperació espanyola i que han de servir per potenciar els elements forts del nostre sistema. Aquest és un objectiu que també comparteixen i en el qual treballen les entitats de segon nivell del panorama de la cooperació (CongdE, coordinadores autonò-miques, locals, etc.).

Podem dir que, com recull el Pla director 2005-2008, s’ha iniciat el camí cap a un mo-

62

gia de les intervencions de cooperació dutes a terme. Sorgeix una pressió creixent cap al govern i les ongd per saber com es gasten els fons disponibles. Sembla que l’associació entre «bona voluntat» i cooperació ja no és imme-diata, i un nombre cada vegada més impor-tant de ciutadans ja no la considera suficient. A més, els recents casos de corrupció i mal ús de fons detectats en dues de les grans ongd espanyoles han fet que molts ciuta-dans es qüestionin l’halo de «bondat» que fins fa poc s’havia associat a les ongd. Tam-bé és necessari indicar que la premsa, que normalment no informa sobre el treball de les ongd, sí que ho fa de manera molt exhaus-tiva i crítica quan hi ha escàndols o situacions irregulars.

La creixent preocupació social per la coopera-ció al desenvolupament s’ha reflectit també en el món empresarial, coincidint, sobretot, en l’últim quinquenni, amb el desenvolupa-ment del que es coneix com a «responsa-bilitat social corporativa». L’assumpció per part de les empreses d’un compromís per contribuir de manera activa i voluntària a la millora social, econòmica i ambiental —un compromís darrere del qual molts veuen pu-res estratègies de màrqueting— ha obert no-ves portes a la col.laboració entre empreses i ongd i ha generat noves oportunitats de finançament per a aquestes últimes. d’altra banda, la irrupció de les empreses en el món

el sector de les ongd, les ongd que són membres de la Coordinadora tenien l’any 2006 més de 717.000 col.laboradors periò-dics i més de 513.000 persones que els ha-vien donat suport de manera puntual. A això, cal d’afegir-hi la dedicació de 28.277 treba-lladors, entre els quals hi ha més de 21.000 voluntaris.

La campanya del 0,7 %, a mitjan anys noran-ta, va marcar una fita en l’interès i el suport populars a la cooperació. El volum de l’Aod va passar a ser un tema de preocupació ciuta-dana, i l’increment de l’ajuda es va incorporar en els compromisos polítics de moltes admi-nistracions i de nombrosos partits polítics. La campanya del 0,7 % va ser un dels mo-ments culminants inicials de la preocupació d’una societat que ha respost massivament, encara que en general amb poca continuïtat, a les grans crides en nom de la solidaritat i la cooperació internacional. És una societat que, en general, ha tingut una visió una mica «romàntica» de la cooperació i, sobretot, dels seus actors, dels cooperants i de les ongd, visió que, afortunadament, ha anat madurant amb el temps.

Es percep en la societat espanyola un can-vi de percepció i de posicionament respecte de la cooperació i els seus principals agents. Les darreres campanyes per l’eradicació de la pobresa revelen una preocupació més gran de la ciutadania, encara que encara no de la majoria, pels objectius, el contingut i la tipolo-

63

aquesta vinculació, les empreses exigeixen cada vegada més transparència a les ongd amb les quals volen col.laborar.

Es dibuixa un entorn en el qual s’incrementen les demandes d’informació clara i de transpa-rència respecte de les ongd; un entorn en el qual la societat, cada vegada més, voldrà saber quins resultats i quins impactes s’acon-segueixen amb els diners que es gestionen.I és una demanda d’informació a la qual les ongd, cada cop més, intenten donar respos-ta. Així, s’aprecia en el sector un increment significatiu dels mitjans dedicats a la ren-dició de comptes públics. En aquest sentit, cal destacar també els esforços, encara no concretats més enllà de la signatura d’un codi deontològic, per generar mecanismes d’auto-regulació que permetin, en certa manera, ga-rantir a la societat en general el bon fer de les organitzacions.

1.5. Conclusions i impacte en l’agenda d’intervenció i els mecanismes de seguiment i avaluació de les ONGD espanyoles

Així, podem afirmar que el context internaci-onal i el marc institucional espanyol, malgrat l’existència d’alguns elements encara anco-rats en el passat, han evolucionat de manera molt significativa en aquests últims anys, i han obligat els diferents actors protagonistes a repensar el seu posicionament i els seus

de la cooperació ha generat importants de-bats ètics i ha obligat les ongd a replante-jar-se les seves estratègies de col.laboració i el seu rol. Així mateix, la participació creixent de les empreses en molts casos ha forçat les ongd a adoptar nous instruments de gestió i a crear mecanismes de rendició de comptes més sofisticats, que s’ajustin a les demandes d’un sector acostumat a tenir dades clares so-bre els seus resultats; unes dades que cada vegada més s’exigeix que vagin més enllà del projecte finançat. no hem d’oblidar que quan s’estableix una col.laboració entre una em-presa i una ongd, es produeix una vincula-ció de les imatges, de la «marca» d’ambdues organitzacions. Per reduir el risc que implica

La Fundación Lealtad

La Fundación Lealtad neix a Espanya l’any 2001 amb l’objectiu de fomentar la confiança de particu-lars i empreses en associacions i fundacions.

La Fundación parteix de la hipòtesi que es dóna una certa desconfiança cap al tercer sector, pel desco-neixement de la realtat de les ongd, el destí dels seus fons i l’impacte de les accions que porten a terme. Per això, per aconseguir fomentar la col.la-boració de la societat civil amb les ongd, la Fun-dación Lealtad creu que s’ha de posar l’èmfasi en la quantitat i la qualitat de la informació disponible sobre el tercer sector.

Per fer-ho, la Fundación ha creat 9 principis de bo-nes pràctiques i analitza l’acompliment d’aquests principis en les associacions i fundacions que ho vulguin, fent públics els resultats.

64

és l’essència profunda d’aquestes organit-zacions?, per a què existeixen?: per prestar serveis de consultoria?, per exercir de peti-ta o mitjana empresa?, per pal.liar els desa-justaments del sistema? Les ongd hem de buscar aquesta essència en el nostre origen i renovar-la i reforçar-la permanentment.»

Aquesta recerca de la seva raó de ser, del seu valor afegit, es converteix així en el repte permanent de les ong de desenvolupament espanyoles; unes organitzacions que en els últims anys, a Espanya, han fet un esforç evi-dent de professionalització, partint de la pre-missa que «la bona voluntat no és suficient», però que ara han de plantar cara al repte de reposicionar-se socialment i políticament. En aquest sentit, i com indica Lombardo, algu-nes de les ongd espanyoles han pecat en aquests darrers anys d’una excessiva «tecni-ficació» i han abandonat el seu perfil polític: 25 «El corrent actual està centrat en la reducció de la pobresa i fa l’efecte que es presenta com un problema exclusivament tècnic, i no ho és en absolut: els nous reptes no són només tèc-nics, sinó ideològics. Cal saber quina posició vol ocupar cadascú en l’àmbit de la coopera-ció i quina és l’eficàcia del nostre discurs so-cial i polític. Convindria tornar a portar al debat de la cooperació el sentit de la política, i que els polítics s’interessin per la cooperació des d’un punt de vista menys instrumental del que

25 Miguel Ángel Lombardo, «Una visión política de las ong de desarrollo», Foro Aod.

mecanismes d’intervenció. Les ongd espa-nyoles, com a part primordial de la nostra co-operació, evidentment no han estat alienes a aquesta evolució.

La reflexió sobre el rol que han d’assumir i els mecanismes d’intervenció i gestió que han d’utilitzar per avançar en la consecució de les seves missions respectives ha ressorgit amb força. El nou entorn obliga les ongd a replan-tejar-se la seva pròpia raó de ser. Recordem les paraules de José María Medina, president de la CongdE, a la trobada de celebració del 20è aniversari de l’organització: «[…] Quina

el treball de la CONGDe

L’objectiu d’autorregulació i defensa del sector té una rellevància especial en el Pla de Treball 2008 de la CongdE.

Com recull aquest pla, una de les activitats que cal desenvolupar serà un conjunt d’indicadors ob-jectivament verificables sobre transparència i bon govern per a les organitzacions de cooperació i un sistema d’aplicació d’aquests indicadors.

La creació d’un sistema d’indicadors i d’autor-regulació impulsat pel mateix sector ha estat un dels grans temes pendents de la cooperació es-panyola. Les ongd són cada cop més conscients que la crítica d’algunes organitzacions als «intents d’imposició de criteris externs», com, per exem-ple, els impulsats per la Fundació Lleialtat, s’han de sustentar en esforços per aconseguir més trans-parència i homogeneïtzació de la informació en el sector.

65

ficacions de l’AECId, si volen evitar de con-vertir-se en mers subcontractistes de l’Estat. Aquest posicionament ha de tenir una tra-ducció operativa i ha de ser el referent en la planificació i el seguiment i l’avaluació de les organitzacions. En aquest sentit, la majoria de les grans ongd espanyoles (les que s’han pogut acollir al procés de qualificació) han fet durant els últims anys processos de revisió de les seves missions, les quals han derivat en plans estratègics i operacionals. És un es-forç que han de continuar treballant i en el qual el conjunt del sector s’ha d’implicar. des d’aquesta perspectiva, el rol assumit per les coordinadores de segon nivell, especialment la CongdE, és d’una importància vital.

La CongdE ha permès avançar en la conso-lidació d’alguns elements sectorials i fer pro-postes, que encara que no sempre han fruc-tificat, han estat molt importants per a la con-solidació del sector de les ongd espanyoles. En aquest sentit, hem de destacar el paper crucial que fa poc ha tingut la coordinadora en la signatura del Pacte d’Estat contra la po-bresa i, ja fa molt més temps, en la definició d’un codi de conducta del sector i en l’impuls de la rendició de comptes i la transparència del sector. Tots aquests elements influeixen de manera definitiva en la necessitat de les ongd de reformular els seus sistemes de seguiment i avaluació.

Així mateix, és important esmentar l’esforç fet per la Coordinadora per aconseguir una

ho han fet fins ara. Considerem que “el sec-tor” necessita una actitud política i ideològica d’acompanyament en la conducció de proces-sos de desenvolupament.»

Sembla evident, doncs, que el posicionament ideològic i la definició clara, per part de les ongd, de la seva missió, la seva visió, els seus plans de desenvolupament i els seus mecanismes d’intervenció es converteixen en factors clau, sobretot, per a les organitza-cions que han entrat en el sistema de quali-

Intermón Oxfam. Un canvi significatiu per respondre a les noves demandes

El 1997, Intermón es va incorporar al grup oxfam Internacional. Aquesta incorporació es va plantejar a través d’una fórmula, la confederació, que perme-tia a Intermón mantenir la seva autonomia jurídica, la seva identitat pròpia, però compartint valors, mis-sió, estratègia i marca amb les altres entitats. La incorporació al grup va permetre a Intermón:

• Unir forces per tenir més impacte per lluitar con-tra la pobresa en un context de globalització.

• Aliar-se amb organitzacions que eren fortes en objectius en els quals Intermón havia de créixer: ajuda humanitària en general, cooperació amb Àfrica i campanyes i pressió política.

• Reforçar la marca i la credibilitat per tenir més ca-pacitat per mobilitzar persones i aconseguir el seu suport social i econòmic.

• Vincular-se a una plataforma per a l’aprenentatge i l’intercanvi d’experiències per reforçar la missió i fer un projecte atractiu que permetés atreure i retenir talent.

66

que continuen actuant sota els mateixos pa-radigmes que hi havia als anys seixanta.

Així, i des d’aquesta perspectiva, no és fàcil donar una resposta genèrica a les preguntes que fèiem al començament d’aquest apartat. Responen les ongd espanyoles a les noves demandes del context internacional? I, més enllà d’això, les ongd espanyoles estan pre-parades per assumir les noves responsabili-tats que es plantegen?

La resposta no és unívoca i demanaria una anàlisi molt més profunda. Ara bé, sigui quin en sigui el resultat, una cosa és ben clara. Com ja hem indicat en el primer capítol, l’as-sumpció de les noves responsabilitats a què obliga el nou entorn planteja reptes molt se-riosos des de la perspectiva del seguiment i l’avaluació, als quals, ara per ara —com veu-rem en l’apartat següent, dedicat al diagnòstic dels sistemes de seguiment i avaluació de les ongd espanyoles— la majoria de les ongd encara no donen resposta. Podríem afirmar que, malauradament, la major part de les ongd espanyoles encara no han integrat els sistemes de seguiment i avaluació com a ele-ments centrals del seu funcionament, amb la qual cosa no se n’aprofita l’enorme potencial per aprendre i construir coneixement en un entorn de grans canvis.

transformació de l’orientació economicista del seguiment i l’avaluació de les subvenci-ons en l’àmbit públic espanyol, i el treball fet amb l’AECId; un esforç que en alguns punts ha començat a donar fruit i que ha de perme-tre suavitzar el rígid marc institucional en el qual se situen els sistemes de seguiment i avaluació de les ongd espanyoles. Més difí-cil ha estat la «lluita» per aconseguir l’harmo-nització de les convocatòries de les diferents administracions públiques, tasca en la qual la Coordinadora no ha tingut èxit, tot i que ha publicat una proposta per la seva banda.

Coherentment amb el que passa en l’àmbit internacional i tal com hem analitzat en el primer capítol, el sector de les ongd espa-nyoles està en plena evolució. Hi ha un grup significatiu d’ongd espanyoles que estan just en el procés de transformació dels seus paradigmes d’intervenció. Els socis del Sud han guanyat terreny en la planificació, el dis-seny i l’execució de projectes i programes, i aquests, en general, han anat evolucionant des d’una concepció molt intervencionista en la prestació de serveis o la creació d’infraes-tructures, cap a una visió més integral del de-senvolupament, en què els conceptes d’en-fortiment institucional, capital social, etc., guanyen pes. També són moltes les ongd que han integrat, com a part fonamental del seu rol, la sensibilització i la reivindicació po-lítiques. no obstant això, no podem oblidar que som davant d’un sector enormement fragmentat, amb moltíssimes organitzacions

67

ació s’erigeix com un dels mecanismes que cal potenciar.

En efecte, el seguiment i l’avaluació de les in-tervencions són percebuts com a qüestions prioritàries per la majoria de les organitzaci-ons, o almenys això revelen les entrevistes fetes i la bibliografia consultada. Però, aques-ta preocupació es concreta en la pràctica?, les ongd espanyoles disposen de sistemes de seguiment i avaluació que els permetin acon-seguir els objectius explicitats?, què caracte-ritza aquests sistemes de seguiment i avalu-ació?, quins són els elements que dificulten la construcció de sistemes que responguin a les necessitats actuals de les ongd?

En aquest apartat volem donar resposta de manera breu a aquestes i altres preguntes. Com ja hem explicat, les respostes s’han ela-borat a partir d’entrevistes semiestructura-des amb organitzacions i experts del sector, complementades amb documents públics diversos. Tot i així, hem de destacar que no es tracta d’un diagnòstic en profunditat de la matèria, ja que, en aquest cas, hauria estat necessària una investigació més exhaustiva.

L’objectiu prioritari del procés ha estat reco-pilar informació dels mateixos protagonistes, informació que ha de permetre contrastar les opinions recollides en la bibliografia consulta-da i fer una aproximació, a través de la inter-pretació dels elements que han aparegut rei-teradament en les entrevistes, de la situació

2. una aproximació breu al seguiment i l’avaluació a les ONGD espanyoles

El nou context internacional i els canvis que s’han esdevingut en el marc institucional es-panyol han afavorit la creació d’un entorn en el qual hi ha un cert consens sobre la necessitat urgent que tenen les ongd espanyoles de desenvolupar sistemes de seguiment i ava-luació que els permetin consolidar el seu nou rol, desenvolupar noves capacitats i millorar en aspectes clau de la seva gestió organitza-tiva. Són uns sistemes que han de permetre: i. Un mesurament més ampli i millor dels

seus resultats, especialment en matèria de l’impacte de les seves intervencions.

ii. L’establiment d’una cultura d’aprenentat-ge organitzatiu, que accepti i integri l’«er-ror» com a part del procés d’aprenentatge.

iii. Una rendició de comptes més àmplia i mi-llor als principals stakeholders de l’organit-zació, començant per les persones usu-àries i beneficiàries dels seus serveis i la comunitat de donants.

Es tracta, com indiquen alguns experts i ja apuntàvem en el primer capítol, de ser capa-ços de «demostrar en la pràctica» l’especifi-citat i el valor afegit de la cooperació liderada i protagonitzada per les ongd, enfront d’al-tres modalitats impulsades des dels governs i agències oficials. Per això, l’establiment de sistemes adequats per al seguiment i l’avalu-

69

Programa d’enfortiment dels processos de desenvolupament local a la vall de Cuzco. Petjades-Ecosol. Perú 2007

70

que acumulaven el 80 % de la despesa en projectes, el 15 % de les organitzacions con-fessaven obertament que no havien fet mai un exercici d’avaluació de les seves accions, el 85 % restant confessaven que avaluaven, però entenien això com el lliurament de l’in-forme final exigit per la finançadora. Única-ment alguna ongd va demostrar que havia encarregat una avaluació intermèdia en pro-funditat a un grup especialitzat quan el projec-te es va complicar excessivament.»26

Aquest és el resultat que mostra també l’es-tudi fet per Stock el 200227 sobre la cultura va-lorativa a les ongd i el que deixen entendre les entrevistes fetes per a aquesta publicació.

Així, la majoria d’ongd perceben l’avalua-ció com un requisit imposat pels donants i, moltes menys, com una forma de generar aprenentatge en l’organització. Es fan po-ques avaluacions orientades a l’aprenentatge i, quan es fan, normalment és per una cau-sa concreta, lligada al mal desenvolupament d’un projecte o programa.

26 José María Larrú (2002), «Razones para im-plantar un sistema de evaluación en las ongd y sus consecuencias», Revista de Fomento Social, núm. 57, p. 683–710.

27 Inca Stock, «Learning from evaluation: A case study of Spanish non governmental development organisations», tesi presentada per al grau de màster a la Universitat de nottingham, Facultat de Sociologia i Política Social, per Research and The-sis in Evaluation Research, setembre del 2002.

del seguiment i l’avaluació en el sector; una aproximació que ha de servir per comprendre les característiques principals d’aquests sis-temes i apuntar quins són els grans reptes que cal resoldre.

2.1. Sobre la cultura de seguiment i avaluació a les ONGD espanyoles

de les entrevistes fetes es desprèn que, si bé el seguiment és una activitat habitual i integrada en gairebé totes les ongd, la re-alització d’avaluacions per voluntat pròpia és encara una acció poc comuna. Tot i que són conceptes complementaris, «parts d’un mateix sistema», és important marcar la dife-rència entre tots dos. Mentre que la majoria d’organitzacions disposen d’un sistema de seguiment (més o menys formalitzat i profes-sionalitzat, generalment ancorat en el cicle del projecte i utilitzant com a instrument base la Matriu del Marc Lògic), l’avaluació NO es fa ni regularment ni sistemàticament. En línies generals, les organitzacions es limiten a fer informes de final de projecte per rendir comptes davant dels seus finançadors i do-nants. Tal com indica Larrú (2002), «La majoria d’ONGD espanyoles continuen expressant el seu desig d’avaluar i aprendre, i reconei-xen que el fet de no fer-ho és una llacuna en la seva gestió, però no es decideixen a posar-hi remei. de les ongd espanyoles

71

pobres, segur que ja ho farem bé».29 Lar-rú apunta una altra possible raó quan afirma que, per a algunes ongd, «les intervenci-ons i els projectes de les ongd són únics i irrepetibles, per la qual cosa les lliçons que es puguin extreure d’un cas, no són extra-polables a la resta. no hi ha possibilitat de validesa externa. Els aprenentatges de cada projecte estan subsumits en aquest mateix projecte, i els beneficiaris saben de sobres què els ha aportat el projecte i què no els ha aportat. Això és el que realment importa: si una població té ara aigua potable i abans no en tenia, si disposa d’una escola o no. no cal “avaluar” artificialment les accions de desen-volupament, perquè s’autolegitimen i cada projecte és únic en l’espai i el temps. Com que no es poden tornar a repetir aquestes mateixes condicions, no té sentit avaluar, ja que cap acció no és reproduïble exactament com es va formular en una ocasió. Així, no es poden establir relacions biunívoques entre projectes, i la validesa externa entre ells és zero. Cadascun és únic i irrepetible».30

Tampoc no podem oblidar les raons metodolò-giques, associades a la dificultat d’implantar sis-temes de seguiment i, sobretot, d’avaluació de

29 Memòria de les II Jornades sobre Avaluació de la Creu Roja a Catalunya, celebrades al Pati Man-ning de Barcelona, el 23 de novembre de 2004.

30 José María Larrú (2002), «Razones para im-plantar un sistema de evaluación en las ongd y sus consecuencias», Revista de Fomento Social, núm. 57, p. 683–710.

només algunes grans organitzacions inclo-uen estratègies clares d’avaluació orientades a l’aprenentatge i a la presa de decisions ins-titucionals; estratègies que en la major part dels casos fa poc temps que s’han elaborat. Com explicava el directiu d’una ongd espa-nyola en una de les entrevistes, «L’avaluació sempre havia estat un dels grans temes pen-dents de la nostra organització. Fèiem avalu-acions quan era un requisit associat a la jus-tificació del projecte o quan vèiem que algun programa funcionava malament o era d’espe-cial interès. no teníem criteris clars per de-cidir quins projectes calia avaluar. des de fa aproximadament un parell d’anys, les coses, en aquest sentit, han canviat.»

Les motivacions d’aquesta manca generalit-zada de cultura valorativa a les ongd espa-nyoles són diverses:28

d’una banda, hem de destacar que, fa uns quants anys, en un estat inicial de la coope-ració al desenvolupament, es posava l’èmfasi en la voluntat d’ajudar les persones neces-sitades, com si aquesta voluntat d’ajuda justifiqués, per ella mateixa, el treball de les ONGD, sense que aquestes haguessin de demostrar ni l’eficàcia ni la qualitat de la seva actuació. Tal com afirma un directiu d’una ongd, «qualsevol cosa que donem ja està bé, ja que com que anem a ajudar els

28 Si voleu una anàlisi més detallada d’aquestes motivacions, consulteu el capítol 3 d’aquest ma-teix document.

72

ra per una notable manca de col.laboració. La competència per uns recursos econòmics escassos comporta una desconfiança mútua i que no hi hagi intercanvi d’idees, experiènci-es i coneixements. En l’àmbit del seguiment i l’avaluació, això implica que no es difonen els resultats de les avaluacions ni les lliçons apre-ses amb aquestes avaluacions. I si la informa-ció es comparteix, generalment és a través de mecanismes informals i contactes personals, cosa que limita la creació i la consolidació d’una cultura valorativa en les ongd espanyoles.

A més, és evident que les raons d’índole eco-nòmica hi tenen un pes important: la falta de pressupost per portar a terme avaluacions i per establir sistemes o unitats d’avalua-ció n’és la causa més argumentada. L’orga-nització no disposa d’unitats o departaments específics encarregats de l’avaluació, la qua-litat o l’aprenentatge, i el personal que hau-ria d’assumir aquestes funcions sovint no ho pot fer a causa de la sobrecàrrega de feina. A més, cal recordar que, durant la dècada dels noranta, el model d’intervenció bàsic de les ongd espanyoles era el del projecte, amb un límit temporal bastant reduït. El finançament procedia fonamentalment de donants públics i privats sense una estratègia coherent de de-senvolupament. És a dir, no hi havia garantia que un donant continuaria finançant projec-tes en una mateixa zona, amb la qual cosa les ongd quedaven supeditades a la falta d’un model de desenvolupament dels donants. El canvi progressiu cap a estratègies més defi-

les actuacions de l’ongd, que realment donin informació sobre la qualitat de la seva actuació, identifiquin bones pràctiques i recomanacions i fomentin l’aprenentatge. En aquest sentit, s’indica que manquen professionals especi-alitzats que facin avaluacions realment útils per a les ONGD a un cost assequible. Sovint, els experts en avaluació, acostumats a treballar per a grans agències bilaterals i multilaterals, no coneixen la idiosincràsia de les ongd i l’es-pecificitat de la seva cooperació, ni disposen de metodologies apropiades, cosa que dificul-ta l’entesa entre les organitzacions i aquests experts. A més, la cultura de fer avaluacions mixtes, combinant equips interns i consultors externs, està encara poc generalitzada, i les or-ganitzacions prefereixen utilitzar els seus propis recursos, fins i tot sabent que això pot afectar l’objectivitat de l’avaluació. A més, en molts casos no es fan diagnòstics previs adequats que permetin tenir una línia de base sobre la qual es pugui fundar l’avalu-ació després. Un altre tema important és que molt poques organitzacions disposen de pro-cessos i mecanismes —com, per exemple, quadres de comandament— per a la integra-ció de les recomanacions i les lliçons apre-ses en els seus processos de decisió. Moltes ongd encara són ben lluny de ser el que es coneix com a «organitzacions que aprenen» (learning organisations).

d’altra banda, també cal recordar que el sector de les ongd espanyoles es caracteritza enca-

73

les organitzacions amb ànim de lucre). Stock destaca que «el problema és que les perso-nes que treballen a les ongd són diferents de les persones d’altres sectors, perquè s’identi-fiquen molt amb la seva feina, i moltes vega-des la veuen com el seu propi projecte, el seu programa; és una cosa que forma part d’elles. Llavors, això fa que si ve algú i avalua i detec-ta un error, això no es vegi com una crítica al treball, sinó una crítica personal.»31 A més, es veu l’avaluació com una amenaça i un control extern, dels quals es desprendrà una decisió


nides, tant per part dels donants com de les ongd, hauria de fer que s’atorgués un paper més important a l’avaluació, tant la inicial com durant tot el cicle de gestió del projecte.

Aquesta dependència econòmica amb relació als donants determina també un cert recel a acceptar els propis errors o que alguna cosa no ha sortit com estava previst. Preval un discurs d’«èxit necessari» (com si les inter-vencions fossin gairebé científiques i no hi ha-gués marge per a l’error), i la inexistència d’un esperit d’autocrítica (fomentat de vegades, com expliquen alguns experts com ara Ed-wards i Hulme o Masfield, per la pròpia cultura activista de les ongd, que les diferencia de

el cas dels finançadors a Catalunya, segons una de les organitzacions entrevistades

Quant al seguiment: «La casuística és molt ele-vada, hi ha demandes molt diverses: hi ha entitats públiques i fundacions que tenen el seu propi for-mulari i d’altres que no; hi ha entitats que dema-nen la justificació de la despesa lliurant documents originals i d’altres que no; hi ha entitats que se cenyeixen al peu de la lletra a les bases regulado-res de les subvencions i d’altres que no. A poc a poc, les entitats busquen més la consecució dels objectius, els resultats i les activitats per als quals han atorgat la subvenció, i no el mer compliment d’un expedient administratiu. Com més gran és el pressupost que maneja el donant (governs autò-noms, ajuntaments de poblacions grans, algunes fundacions), més nombrosos són els requisits que cal complir, tant administratius com de fons. no obstant això, aquest criteri és matisat de ma-

nera important per l’anterior criteri esmentat, en el sentit que, com més gran és el pes de l’obtenció dels objectius de la subvenció, més flexible es tor-na la part burocràtica. Se substitueix la presentació de factures per auditories internes i certificats de l’organització subvencionada.»

Quant a l’avaluació: «Fins a ara, a Catalunya, no hi ha hagut cultura d’avaluació de projectes; sempre se n’ha justificat l’absència per l’elevat cost i per la manca de recursos. Tanmateix, en els dos o tres últims anys s’observa un canvi. L’exemple més important i destacat és el de la generalitat, que ha encarregat al CIdoB l’avaluació d’alguns dels projectes cofinançats. Així, el 2004, els projectes al Perú; el 2005, els projectes a Bolívia; i, el 2006, els projectes a l’Equador. d’altra banda, el fet de concentrar recursos a través de convenis, progra-mes i altres instruments fomenta que es prioritzi l’obtenció dels resultats i la posterior avaluació.»

74

ment de les seves intervencions, així com de complexos sistemes d’informació exhaustius i sistemàtics), els processos i els procedi-ments d’avaluació són generalment infor-mals i poc institucionalitzats. Tal com recull Stock,32 «Algú decideix fer l’avaluació. Pot ser el coordinador d’àrea que redacta i els tècnics de referència o l’equip sobre el terreny. no hi ha una línia clara des de la institució que digui com s’ha de redactar, qui ho ha de fer, com s’ha de fer, com es busca un avaluador; o moltes vegades es fa sobre la marxa i molt de pressa. Tampoc no hi ha processos per sa-ber qui va rebre l’informe, qui l’hauria de llegir o com s’han d’utilitzar les recomanacions.»

Així, encara hi ha molt poques organitzacions que integren l’avaluació com a part fonamen-tal de la gestió dels seus projectes i progra-mes. La majoria d’avaluacions es fan quan ho exigeix el donant. En aquest sentit, hem de destacar el creixement del nombre d’avalua-cions que fan les organitzacions, que s’expli-ca pel fet que actualment alguns instruments de finançament preveuen l’obligatorietat de l’avaluació.33 de tota manera, cada vegada hi


33 Ens referim, per exemple, al cas de les sub-vencions de l’AECId a les ongd, que hauran de fer avaluacions finals de tots els projectes que su-perin els 350.000 euros i avaluacions intermèdies en tots els convenis que es firmin entre l’AECId i les ongd acreditades.

sobre la continuïtat del finançament. Això fa que no es digui mai el que ha fallat, i impedeix que hi hagi un clima de confiança adequat per reconèixer els errors.

Una altra causa lligada als donants és la dis-paritat en les demandes dels finançadors i els requisits de seguiment administratiu i fi-nancer imposats, així com el poc interès de la majoria de donants en aspectes qualitatius, més enllà dels clàssics criteris d’eficàcia i efi-ciència. El mesurament de l’impacte de les intervencions encara no constitueix un tema que hagi despertat l’interès de la comunitat de cofinançadors i donants, més enllà d’una minoria. En definitiva, els donants encara no fomenten la implantació d’una sòlida cultura valorativa orientada a l’aprenentatge en les ongd a les quals donen suport.

2.2. Característiques dels sistemes de seguiment i avaluació a les ONGD espanyoles

Quin tipus de projectes i programes es decideix seguir i avaluar

Mentre que els processos de seguiment estan fermament, i com més va més ge-neralitzadament, estandarditzats i consoli-dats en l’organització (com ja hem indicat, la majoria d’organitzacions, sobretot les més grans, disposen de procediments i manuals propis, per al disseny, l’execució i el segui-

75

Quins criteris es fan servir per al seguiment i l’avaluació

Els sistemes de seguiment de les ONGD espanyoles mesuren, bàsicament, l’eficàcia i l’eficiència en el desenvolupament dels seus projectes i/o programes. L’instrument bàsic per dur a terme aquest seguiment, i també per planificar, implementar i avaluar, és l’En-focament del Marc Lògic (EML), que permet mesurar resultats i objectius prèviament es-tablerts. no obstant això, els aspectes lligats a la pertinència de les intervencions, el seu potencial d’impacte i la seva viabilitat no es monitoritzen sistemàticament, atès que són aspectes que no sol incloure l’EML, ja que aquest se centra més en les activitats i la con-secució dels plans que no pas en un procés d’aprenentatge.

Els objectes de l’avaluació són fonamental-ment projectes (sobretot, ja que és el cofi-nançador qui fixa l’obligatorietat de l’avalua-ció), i són molt poques les ongd que avalu-en estratègies o polítiques. no obstant això, aquesta anàlisi de la realitat en molts casos és inadequada, a causa de la impossibilitat d’atri-buir uns determinats efectes a l’àmbit exclu-siu del projecte. Tal com indica J. A. Alonso,34 «La cooperació espanyola s’ha caracteritzat, fins avui, per un predomini dels projectes de

34 «La cooperación española: un sistema en pro-ceso de cambio», José Antonio Alonso, catedràtic d’economia aplicada a l’Instituto Complutense de Estudios Internacionales (ICEI).

ha més organitzacions (tot i que encara són molt poques) que inicien avaluacions pel seu compte i estableixen criteris per decidir quin tipus de projectes o programes cal avaluar, quan i com. En aquest cas, som davant de decisions de caràcter institucional, tal com demostren alguns dels comentaris recollits a les entrevistes: «Amb caràcter semestral, ens reunim el comitè d’avaluació i valorem, sobre la base del pressupost establert per l’equip directiu i els criteris d’interès estratè-gic, quins projectes o programes avaluarem aquest semestre. […] Tots els programes passen per una avaluació cada tres anys. A més d’aquestes avaluacions periòdiques, se seleccionen uns quants projectes que per la seva especial significació interessa avaluar.»

d’altra banda, cal destacar que és més fre-qüent l’avaluació en els projectes d’ajuda humanitària que no pas en els de desenvo-lupament, pel fet que es fa una inversió de recursos més gran en el cas dels primers. Com indica Stock (2002), «Això vol dir que les avaluacions no segueixen un pla d’apre-nentatge intern, perquè s’avalua el que és gran i si s’ha aconseguit diners per a això. Però no s’avaluen petits projectes i estratè-gies innovadores i importants per a l’ongd, ja que això queda en un segon pla; això fa que se sàpiga molt més sobre grans inversi-ons en ajuda humanitària que no pas sobre petites coses que poden ser molt interes-sants i innovadores.»

76

cés. Fer una bona avaluació d’impacte és car i complex. Hi ha organitzacions que conside-ren que les avaluacions d’impacte són el «taló d’Aquil.les» de la cooperació al desenvolupa-ment: a pesar de la seva importància per a la valoració objectiva de les intervencions i l’aprenentatge, no s’hi dediquen prou recur-sos. Altres organitzacions, en canvi, conside-ren les avaluacions com a part d’una agenda imposada principalment per les organitzaci-ons financeres (percepció de control i/o d’una certa desconfiança per part d’aquestes agèn-cies) o, de vegades, en termes pejoratius, com un exercici excessivament acadèmic, deslligat del quefer operatiu de l’organització i els seus programes. Finalment, també es destaca la dificultat d’aprehendre l’impacte de les pròpies accions, ja que és difícil distin-gir el resultat directe del mateix projecte dels efectes d’altres projectes o circumstàncies de l’entorn en la mateixa àrea geogràfica. És important, a més, tenir en compte el nou posicionament de les ongd com a «acom-panyadores de processos d’organitzacions del Sud» i la gran dificultat que comporta, des d’un punt de vista metodològic, fer el seguiment i l’avaluació d’alguns conceptes més in-tangibles, com l’apoderament, l’enfortiment institucional, la creació de capital social, etc. Actualment, l’avaluació d’aquests conceptes se sol fer, la majoria de vegades, d’una mane-ra poc estructurada i de caràcter més intuïtiu, i no hi ha metodologies prou desenvolupades i comprovades. Algunes ongd, però, ja treba-

desenvolupament, com a modalitat bàsica d’ajuda. Hi han influït tant la gènesi del siste-ma espanyol de cooperació, un sistema finan-cerament i tècnicament poc dotat, com el sig-nificatiu pes de les ongd en la gestió de les intervencions. La conseqüència és que l’aju-da espanyola es caracteritza per una notable dispersió i pel fet que està composta per una multiplicitat d’accions, de petites dimensions i, previsiblement, d’impacte limitat sobre els receptors. És necessari, per tant, que Espa-nya atorgui un protagonisme més gran als instruments —com l’ajuda a través de progra-mes, els enfocaments sectorials amplis o el suport al pressupost— que comporten una translació més àmplia de responsabilitats al receptor en la gestió de l’ajuda i proporcionen un marc més compromès i ambiciós per al desenvolupament de les intervencions.» En l’àmbit de l’avaluació es planteja, per tant, la conveniència de fer avaluacions amb un con-tingut més ampli: avaluacions temàtiques, sectorials, regionals, de país. En aquest sen-tit, hem de destacar que, a més, es fan molt poques avaluacions ex post o d’impacte, i fins i tot encara hi ha projectes que s’inicien sense haver fet un diagnòstic o una avaluació ex pre prèvia, cosa que és una prova més que l’avaluació no s’inclou en el cicle de gestió del projecte.

Amb relació a l’impacte, la majoria d’organit-zacions reconeixen que es limiten a mesurar gairebé exclusivament els resultats directes de la seva acció, a partir d’indicadors de pro-

77

països del Sud i amb unitats al nord especia-litzades a proporcionar serveis al conjunt) dis-posen de departaments de qualitat i unitats d’aprenentatge, i entre les seves missions i tasques s’inclouen les relacionades amb el seguiment i l’avaluació de les intervencions. no obstant això, és important tenir en comp-te que en les organitzacions molt descentra-litzades són les oficines nacionals les respon-sables de portar a terme les avaluacions dels seus programes.

Cal destacar que, amb ben poques excepci-ons, el beneficiari/usuari és el gran absent dels sistemes d’avaluació. Les avaluacions es fan generalment per «rendir comptes cap amunt», i estan centrades, per tant, en la perspectiva del donant. no obstant això, co-mença a generalitzar-se una cultura de ges-tió, seguiment i avaluació participativa en di-verses organitzacions. Com s’integra i es difon la informació

La major part d’organitzacions no tenen de-finits els fluxos i canals informatius, la qual cosa determina que, sovint, l’aprenentatge i les recomanacions fruit de l’avaluació i fins i tot del seguiment no s’integrin en la planifi-cació i la presa de decisions de caràcter més estratègic. La difusió de la informació se sol fer informalment o a través de mecanismes tecnològics que no asseguren la transmissió real dels continguts. no hi ha cap responsable encarregat de controlar si s’apliquen les reco-

llen en la definició de criteris i indicadors per a aquests temes.

Qui fa el seguiment i l’avaluació

Pel que fa al seguiment, en general, són les contraparts les que assumeixen bàsicament la responsabilitat directa de dur-lo a terme, i queda en molts casos com a única respon-sabilitat per a la ongd espanyola la redac-ció dels informes enviats per la contrapart i l’adaptació d’aquests als diferents requisits formals i informatius de cada finançador. Par-lem en aquest cas d’un seguiment més admi-nistratiu. El seguiment de caràcter més tècnic recau també, generalment, en la contrapart local (que és qui executa el projecte), encara que la participació de l’ongd espanyola és molt variable en funció, sobretot, del nivell de capacitats d’ambdues organitzacions i de la seva relació de «poder».

Pel que fa a l’avaluació, el més freqüent és que s’encarregui a consultors externs; requi-sit que, d’altra banda, moltes vegades fixen els donants. En aquest cas, l’experiència i el coneixement són difícilment integrables en l’organització. només en les organitzacions (que encara són molt poques) que dispo-sen d’unitats d’avaluació hi sol haver equips mixts.

Únicament les grans organitzacions (les quals constitueixen veritables moviments d’ongd i també les fortament descentralitzades als

79

Programa d’enfortiment dels processos de desenvolupament local a la vall de Cuzco.Petjades-Ecosol. Perú 2007

80

mes de seguiment i avaluació i el nivell de presa de decisions institucional. de vegades, la multiplicitat d’informes dificulta la retroali-mentació correcta dels resultats cap a les per-sones que prenen decisions i estableixen les polítiques. Altres vegades, la integració de la informació dels nivells operatius al nivell ins-titucional presenta problemes, i les organitza-cions no disposen de capacitat per integrar els aprenentatges en els seus procediments de disseny i formulació de projectes i progra-mes. En aquest sentit, com afirmen algunes organitzacions, sovint la realitat de les àrees operatives, amb els seus programes i projec-tes i els seus indicadors de seguiment, estan desconnectades —quan existeix— del qua-dre de comandament organitzatiu: «Al meu entendre, el quadre de comandament no ser-veix per reflectir la realitat dels projectes. La direcció, amb les seves dades, i nosaltres, amb les nostres coses […]».

d’altra banda, tal com ja hem indicat anterior-ment, no es comparteixen els resultats de les avaluacions amb altres organitzacions ni es difonen, en molts casos, entre els stakehol-ders implicats. En definitiva, la integració dels aprenentatges derivats del seguiment, però, sobretot, de l’avaluació dels projectes, és un dels punts febles més importants de les orga-nitzacions. Es tracta d’un aprenentatge que es dóna esporàdicament, no d’una manera sistemàtica, centrat en els projectes i a ni-vell individual, però no institucional.

manacions, i hi ha molt poca sistematització, amb la qual cosa el coneixement generat per l’avaluació queda limitat a l’àmbit específic del projecte. La manca de temps és una de les raons més aportades per explicar aquesta manca d’aprenentatge. El dia a dia organitza-tiu no permet la reflexió, remarcava una altra organització entrevistada: «Les conclusions o recomanacions derivades de les avaluacions es comenten en les reunions que tenim entre els diferents responsables de projectes. Així ens assegurem que tots les coneixem.» […] «Ateses les dimensions de la nostra organit-zació, no necessitem sistemes gaire formals […], quan s’ha detectat un problema en el seguiment d’un projecte o en una avaluació, en comentem els resultats […], tots sabem el que passa en tots els projectes […]».

És important tenir en compte, a més, que la majoria d’ongd i les seves contraparts tenen processos comptables molt sofisti-cats i sistemes de presentació d’informes molt complicats (la majoria imposats pels donants, amb requeriments i exigències di-ferents). Aquestes obligacions de seguiment administratiu exigeixen un gran esforç en temps, i moltes vegades no deixen que el personal de les organitzacions tingui temps per escoltar i entendre les percepcions sobre les seves intervencions i prendre mesures en aquest sentit.

Sembla que hi ha, a més, una gran bretxa, en la major part dels casos, entre els siste-

81

receptor en la planificació o la primacia d’una “agenda oculta”, no directament relacionada amb la lluita contra la pobresa, constitueixen seriosos obstacles perquè una avaluació s’ori-enti cap a l’aprenentatge i la reflexió».36

36 «Reflexiones sobre la situación y avance de la evaluación de intervenciones de cooperación al desarrollo», direcció general de Planificació i Avaluació de Polítiques per al desenvolupament, Secretaria d’Estat de Cooperació Internacional (SECI), Foro Aod, FRIdE, 2006-2007.

2.3. Motivacions i objectius de l’avaluació i el seguiment a les ONGD espanyoles

Malgrat que la major part de persones i or-ganitzacions entrevistades han destacat el potencial dels sistemes de seguiment i avalu-ació com a elements clau per al desenvolupa-ment de capacitats organitzatives, la millora de l’acció i la presa de decisions estratègi-ques, la realitat és que, com han reconegut els entrevistats, l’objectiu fonamental del seguiment i l’avaluació en la majoria de les ONGD espanyoles actualment conti-nua sent la rendició de comptes. de vega-des també la presa de decisions immediates sobre aspectes concrets del projecte o pro-grama avaluat, però difícilment es considera l’aprenentatge organitzatiu com l’objectiu bàsic de les tasques avaluadores.

A més, de les entrevistes i de la consulta bi-bliogràfica que s’ha dut a terme, se’n desprèn que les avaluacions ben poques vegades es fan per donar suport als processos de presa de decisions estratègiques. generalment ser-veixen per «[…] justificar el camí que volem agafar. L’avaluació no és mai el detonant per canviar una manera de fer».35

des de la dgPoLdE s’afirma que «l’absèn-cia d’una línia de base operativa, una anàlisi prèvia fragmentada, la nul.la participació del


García Ramos remarca les raons poc legítimes següents per encarregar avaluacions:

• Ajornar una decisió mitjançant l’encàrrec d’un es-tudi valoratiu que requerirà més temps.

• Eludir responsabilitats davant de decisions ja pre-ses, però que es volen revestir de les «vestidures legitimadores» de l’avaluació.

• Encarregar l’avaluació amb fins de màrqueting i propaganda, com un mitjà per autoproclamar les grandeses de l’organització. Per aconseguir-ho no es dubta a seleccionar per a l’avaluació només els trets de la feina feta que tenen un bon aspecte superficial, o s’encobreixen els fracassos del pro-jecte evitant tota estimació objectiva i sense cap difusió ni transparència en els seus resultats.

• Complir els requisits obligats d’una convoca-tòria de finançament extern, amb la qual cosa l’avaluació es converteix en un ritual necessari que es manipularà per convèncer o «aplacar» el finançador, però sense cap utilitat real.

garcía Ramos (1992: 463–464), seguint WEISS (1972) en la versió castellana (1975).

82

cions de recursos, tant de temps com econò-mics, i amb un marc legal i administratiu que no fomenta la innovació i l’aprenentatge, la rendició de comptes continua sent l’objectiu principal de les tasques de seguiment i ava-luació, la qual cosa, malauradament, limita el potencial d’aprenentatge d’aquestes funci-ons i la capacitat adaptativa de les ongd.

En definitiva, malgrat el reconeixement gene-ralitzat de la importància de les tasques de seguiment i avaluació, el desenvolupament de sistemes orientats cap a l’aprenentatge continua sent un dels reptes principals per a les ongd espanyoles. Per diferents causes que hem anat comentant al llarg d’aquest apartat, principalment vinculades a les restric-

83

Capítol 3: Tendències actuals en matèria de seguiment i avaluació

84

Els canvis en el marc i les prioritats de la co-operació al desenvolupament que hem ana-litzat en el primer capítol tenen, lògicament, el seu reflex en l’àmbit del seguiment i l’ava-luació, i aquest tema s’ha convertit en els últims anys en una qüestió central per a la majoria de les ongd i els actors del desen-volupament. S’ha obert un debat que tot just comença i l’evolució del qual resulta encara difícil de predir. Al llarg d’aquest capítol, i sen-se ànim d’exhaustivitat, ens proposem identi-ficar les principals tendències i les qüestions més rellevants que es discuteixen en l’àmbit nacional i l’internacional.

En primer lloc, reflexionarem sobre per què seguim i avaluem? Intentarem aprofundir les raons que fan que les organitzacions ini-ciïn processos de seguiment i avaluació, te-nint molt present que aquesta motivació de-termina en darrer terme tant l’objecte com el procés de seguiment i avaluació, així com la seva aportació a la construcció d’una cultura orientada a la millora i a l’aprenentatge.

no hem d’oblidar que moltes organitzaci-ons perceben una gran tensió entre rendició de comptes i aprenentatge. I esgrimeixen aquesta tensió com un dels principals ele-ments explicatius de les dificultats de cons-trucció de sistemes de seguiment i avaluació orientats a l’aprenentatge. És evident que en aquest punt hi ha un dels elements clau que les organitzacions han d’afrontar, encara que no és l’únic. Les ongd espanyoles tenen encara barreres importants que impedeixen que, ara per ara, ens hi puguem referir com el que, en les últimes dues dècades, es co-neix com a «organitzacions que aprenen», organitzacions capaces d’adaptar-se a les transformacions del seu entorn i que saben construir i compartir aprenentatge a partir de les seves experiències. En un context que canvia gairebé permanentment, la construc-ció i l’ús de l’aprenentatge es converteixen en uns dels grans reptes que les ongd es-panyoles han d’afrontar; una construcció a la qual un bon disseny dels sistemes de se-guiment i avaluació pot contribuir de manera molt significativa.

85

l’ongd haurà d’emfasitzar una gestió basada en resultats i ser capaç de mesurar la quali-tat del seu treball; per a això haurà d’atendre l’impacte que el conjunt de les seves actuaci-ons tingui en una àrea o en un país concrets. L’anàlisi del nivell «micro» li aportarà informa-ció sobre el grau d’eficàcia i eficiència de les seves accions, però només tenint en compte un nivell més «macro» podrà valorar els can-vis que ha propiciat la seva actuació. Per tant, en les ONGD, el mesurament de l’impacte es convertirà en una qüestió fonamental, i serà imprescindible, en aquest sentit, que siguin capaces de mesurar el canvi.

d’altra banda, també ha evolucionat el contin-gut dels projectes i programes. Així, aquest èmfasi en el «desenvolupament» més que en l’«ajuda» que indicàvem, juntament amb la voluntat que els mateixos actors locals en siguin els protagonistes, fan que es doni una preponderància més gran a objectius més «abstractes» i de caràcter més qualitatiu, com ara l’enfortiment institucional, l’apodera-ment, la participació ciutadana, la creació de capital social o l’equitat de gènere. no obstant això, en la majoria de casos, les metodologi-es i els enfocaments de seguiment i avaluació dels projectes centrats en variables de caràc-ter intangible continuen sent els mateixos. És evident que el mesurament de processos complexos, multidimensionals, que es poden produir per una multiplicitat de factors, és una qüestió summament difícil, a la qual els instru-ments actuals per al seguiment dels projectes,

A partir d’aquest plantejament clau i tenint molt present que cada circumstància i cada organització requerirà uns sistemes i uns pro-cessos adaptats, el capítol intentarà apuntar diferents idees i exemples que poden servir per a aquest fi. Aquestes idees se centraran en una reflexió més genèrica en el primer apartat del capítol, dedicat a aprofundir en la pregunta per què avaluem?, i entraran en més detalls en el segon apartat, en repassar les preguntes següents: què és el que avalu-em?, com? i per a qui?

Així, en el segon apartat del capítol farem es-ment, en primer lloc, de l’objecte del segui-ment i l’avaluació: Què és el que s’avalua actualment?

En molts casos ja no es tracta d’executar de-terminades activitats, amb uns resultats visi-bles, concrets i quantificables, sinó d’engegar processos a llarg termini que desemboquin en una capacitat més gran dels actors locals de protagonitzar i liderar el seu propi desen-volupament. Tal com es reflecteix en l’àmbit espanyol amb el canvi en les polítiques de fi-nançament de l’AECId, es va passant gradu-alment d’un enfocament centrat en l’exe-cució de projectes a un enfocament més programàtic, de l’èmfasi en l’«ajuda» a l’èm-fasi en el «desenvolupament». En l’àmbit del seguiment i l’avaluació, això implica que, més que la planificació i l’execució d’unes activi-tats determinades, inscrites en un marc tem-poral i pressupostari moltes vegades rígid,

86

d’avaluació apoderadors i participatius en el centre d’interès. A continuació ens centrarem en com s’avalua. També aquí el ventall de possibilitats de discussió és molt ampli, però en destaquen dos principis fonamentals que tenyeixen totes les discussions: la participa-ció i l’ús de l’avaluació. d’altra banda, tindrem en compte també els nous instruments i les noves metodologies per al seguiment i l’avaluació sorgits arran de la discussió sobre les limitacions del generalitzat Enfocament del Marc Lògic, i que intenten donar resposta a aquests nous enfocaments valoratius que donen prioritat a la participació, a l’apodera-ment i a l’ús efectiu de l’avaluació.

1. Per què i per a què fem seguiment i avaluem

Per a què seguim i avaluem els programes i els projectes? Quins objectius bàsics tenen els processos de seguiment i avaluació duts a terme? Què es pretenia aconseguir? Per què se segueixen i s’avaluen determinats pro-grames i projectes? Quins són els resultats esperats d’aquests processos? Com s’utilit-zaran i per a què?

Tenir clar per què i per a què seguim i avalu-em, quins fruits volem que tinguin aquestes activitats i com utilitzarem els resultats i les conclusions extrets d’aquests processos és clau per maximitzar-ne la utilitat i millorar-ne la qualitat.

com el generalitzat Enfocament del Marc Lò-gic, difícilment poden donar resposta. Al llarg d’aquest capítol intentarem apuntar alguns en-focaments i algunes metodologies que s’es-tan debatent per afrontar aquesta qüestió.

És evident que podríem parlar de moltes més qüestions si teníem en compte què s’ava-lua. no podem oblidar, per exemple, que els principis de la declaració de París donen més importància que mai al mesurament de la pertinència dels projectes i programes, com també a la seva sustentabilitat. d’altra banda, aquest ric debat que s’ha obert recentment en l’àmbit del seguiment i l’avaluació ha de-sembocat en la proliferació de metodologies i instruments cada vegada més especialitzats per mesurar diferents components del de-senvolupament i la tasca de les ongd, com ara la pressió política, la democràcia i gover-nabilitat, el gènere, etc. Aquí ens centrarem en el mesurament de l’impacte i de quatre components intangibles dels programes de desenvolupament —enfortiment institucio-nal, apoderament, creació de capital social i advocacy—, perquè ens semblen els més interessants i rellevants per a les ongd. En tots els casos intentarem enfocar l’anàlisi des d’un punt de vista eminentment pràctic, in-cloent-hi pràctiques destacades en l’àmbit nacional i internacional i apuntant els princi-pals instruments utilitzats.

En el tercer apartat analitzarem per a qui s’avalua, cosa que ens farà situar els corrents

87

i perquè les recomanacions que se n’extre-guin siguin útils per a qui les va encarregar i vàlides per a qui les ha d’aplicar, sobretot, en cas de seguiments i avaluacions orientats a l’aprenentatge.

no hem d’oblidar que determinar els objectius del seguiment i, sobretot, de l’avaluació serà fonamental per establir els mecanismes tèc-nics i polítics necessaris perquè la informació recollida durant el procés es consideri vàlida

Il.lustració 2: Qualitats clau d’un procés de seguiment i avaluació: utilitat i validesa

Tenim un conjunt de preguntes a les quals cada organització haurà de respondre de ma-nera individual i que, en molts casos, obtindran diferents respostes d’acord amb el programa o projecte sobre el qual es faci el seguiment i l’avaluació. Aquestes respostes, amb molta probabilitat, trauran a la llum una de les grans tensions que les ongd han d’afrontar en fer el seguiment i l’avaluació dels seus progra-mes o projectes: la dificultat de conjugar la necessitat de seguir i avaluar, d’una banda, per rendir comptes, generalment als donants,

i de l’altra, per extreure aprenentatges que puguin millorar la pràctica organitzativa.

Aquesta tensió es deriva, per tant, del fet que els processos de seguiment i avaluació tenen diferents objectius, que s’han d’equilibrar o, en alguns casos, prioritzar. Malauradament, les ongd perceben que moltes vegades aquests objectius no es poden abordar de manera conjunta.

UTILITAT OBJETIVOS

VALIDESA UTILITAT

Per a què serviran el seguiment i l’avaluació?

Ítems de seguiment Preguntes d’avaluació

Les conclusions s’accepten com a reals, tècnicament i políticament

correctes?

Mecanismes de recollida d’informació

Tipus d’informació Conclusions

Recomanacions

Les recomancions són aplicables? Responen al que es pretenia?

VALIDESA

88

Objectius dels processos de seguiment i avaluació

1. Generar informació per a la rendició de comptes (accountability)

El seguiment i l’avaluació pretenen analitzar i presen-tar el funcionament o els resultats del programa ge-neralment per justificar davant de tercers la inversió i els recursos utilitzats i destacar les bondats de la intervenció duta a terme.

Aquests tercers, la majoria de vegades, són donants, però també poden ser socis, treballadors, patronats, governs, socis locals, beneficiaris del programa o la societat en general.

En aquest sentit, podem parlar de rendició de comp-tes cap amunt (donants, patronats, etc.) o cap avall (usuaris, organitzacions locals, etc.). darrere de la rendició de comptes hi ha diverses mo-tivacions: • Mantenir o incrementar els fons aliens.• Mantenir o incrementar el suport social a la causa o

el projecte.• Millorar la imatge de l’organització davant d’altres.• Motivar els treballadors.• Millorar la relació amb les contraparts o els beneficiaris.

2. Generar informació per a la presa de decisions i l’aprenentatge

Podem parlar d’aprenentatge o presa de decisions en dos àmbits: l’àmbit de projecte o programa i l’àmbit institucional.

Aprenentatge en l’àmbit de projecte o programaEl seguiment i l’avaluació pretenen analitzar el desen-volupament del projecte o el programa per corregir, en un primer nivell, desviacions o errors en la seva aplicació, i analitzar si els processos desenvolupats i

les activitats dutes a terme són els més adequats i si els resultats o els impactes obtinguts són els espe-rats. de la informació extreta en un procés de segui-ment i avaluació d’un projecte o programa, en deriven correccions orientades a la millora d’aquest mateix projecte o programa, però també se’n poden extreure aprenentatges que siguin generalitzables i generin co-neixement institucional.

El seguiment i l’avaluació han de permetre:• Conèixer la realitat del projecte o programa.• Solucionar problemes associats al projecte o progra-

ma.• Millorar la gestió del projecte o programa.• Valorar si l’alternativa d’intervenció és vàlida. • Col.laborar en la millora de les capacitats dels treba-

lladors associats al projecte o programa.

Aprenentatge i generació de coneixement en l’àm-bit institucionalEn aquest cas, el seguiment i l’avaluació pretenen generar un coneixement que permeti millorar les es-tratègies institucionals o les intervencions en àmbits que van més enllà dels estrictament vinculats a un sol projecte o programa. Es vol extreure lliçons genèri-ques segons els tipus d’intervencions o zones geo-gràfiques, analitzar la reproductibilitat dels projectes o programes, generar conclusions que ajudin a prendre decisions institucionals i millorar la comprensió de la realitat.

El seguiment i l’avaluació han de conduir a:• Generar coneixement utilitzable en la presa de deci-

sions institucionals.• Construir capacitat organitzativa en determinades

àrees d’intervenció.• Facilitar el canvi institucional.• Orientar les estratègies institucionals.• Disposar d’informació veraç sobre la realitat de les

àrees d’intervenció.

89

Aquesta diversitat implica importants diferènci-es en les preguntes d’avaluació que es fan, el tipus de productes que es volen aconseguir i els mecanismes de recopilació i elaboració de dades que s’utilitzen.

Malgrat l’evolució en el concepte de ren-dició de comptes i la creixent pressió cap a les ongd perquè siguin més transparents, cosa que ha fet ampliar els destinataris i el tipus d’informació que es genera amb aquest objectiu, les prioritats informatives i el tipus d’anàlisi necessari per a la rendició de comp-tes i l’aprenentatge organitzatiu, continuen tenint elements clau molt diferents.

Com hem analitzat ja en el primer capítol d’aquest llibre, en els últims anys la rendició de comptes s’ha convertit en un element d’una im-portància creixent per a les ongd, que veuen que des de diferents fonts es qüestiona cada vegada més la seva legitimitat. Un qüestiona-ment que en alguns països, entre ells Espanya, ha coincidit amb l’aparició d’importants casos de frau en el sector. Les ongd s’han d’esforçar per respondre, avui més que mai, amb claredat les preguntes clàssiques: on van a parar els fons que gestionen?, a qui beneficien?, és eficient la seva gestió?, quins resultats obtenen?, quin im-pacte?, etc. Però també han d’obtenir respostes a altres preguntes més recents, com ara: la seva intervenció és realment oportuna i pertinent?, a qui beneficien realment?, a qui representen?, qui les escull?, és veraç la seva versió de la rea-litat?; aquestes preguntes requereixen un nivell

1.1. Causes de la dificultat de conjugar la rendició de comptes i l’aprenentatge organitzatiu en els processos de seguiment i avaluació

Entre els dos grans objectius dels proces-sos de seguiment i avaluació —la rendició de comptes i l’aprenentatge— sorgeix una ten-sió. Aquesta tensió està mal resolta i esdevé un dels frens principals al desenvolupament de processos de seguiment i avaluació orien-tats a l’aprenentatge. Per bé que es pot expli-car per diversos motius, les principals causes d’aquesta tensió sembla que són la presència de diferents destinataris amb diferents ne-cessitats d’informació, la diversitat de valors subjacents, l’existència d’una cultura de se-guiment i avaluació basada en la desconfian-ça i centrada en projectes més que en actors, i la manca de recursos i capacitats.

Destinataris diferents, demandes i graus d’informació diversos

En primer lloc, el seguiment i l’avaluació per rendir comptes o per aprendre tenen, la majo-ria de vegades, destinataris diversos amb de-mandes i necessitats d’informació diferents.37

37 És important tenir molt present que ens trobem davant d’unes organitzacions que han de respondre a necessitats d’informació molt diverses. donants, beneficiaris, socis, governs locals, governs en ori-gen, contraparts, socis de les contraparts, treballa-dors, altres ongd, etc., són alguns dels stakehol-ders que configuren l’entorn actual de les ongd.

90

Recursos utilitzats, despesa executada, activi-tats fetes, productes resultants, nombre i perfil de beneficiaris directes i indirectes es conver-teixen en informació clau que cal recopilar en aquests processos. Assegurar que s’executa el que s’havia planificat, que s’aconsegueixen els resultats i, de vegades, l’impacte esperat, o justificar per què això no ha estat possible, és una preocupació central del procés. És un procés que està orientat a destacar les bondats, els punts forts del projecte o programa realitzat, que té, en el fons, una orientació primària bàsi-ca: destacar el valor obtingut a canvi dels recur-sos invertits. És un procés en el qual la valoració té més pes que la comprensió. L’avaluació es converteix en una etapa més del seguiment; una etapa moltes vegades final en la qual el me-surament de l’acompliment, lligat als indicadors establerts al Marc Lògic, pren rellevància.

d’anàlisi superior i un enfocament nou, i poden facilitar l’apropament entre la rendició de comp-tes i l’aprenentatge organitzatiu.

no obstant això, no hem d’oblidar que avui en dia encara predomina el concepte de rendició de comptes tradicional, vinculat a la justificació econòmica i que té com a destinatari final prin-cipal el donant. En aquest sentit, podem dir que els sistemes de seguiment i avaluació orientats a la rendició de comptes busquen justificar la inversió feta, els recursos utilitzats, amb rela-ció als resultats obtinguts, i només en alguns casos, i en últim terme, l’impacte aconseguit. Es vol demostrar, doncs, que el projecte o pro-grama dut a terme o que es durà a terme ha estat o serà útil, haurà valgut o valdrà la pena i s’ha fet o es farà de manera eficient i eficaç. Aquests dos criteris són l’eix central de l’anàlisi.

Il.lustració 3: Elements clau del seguiment i l’avaluació per rendir comptes

Inversió Impacte positiu

Resultats

Recursos Despeses

Beneficiaris Productes

Eficiència/eficàcia

Activitats

Elements externos

Elements externos

Elements externos

PROCÉS

Informe final

Bondats del programa

Elements bàsics del procés

91

Inversió Impacte positiu

Resultats

Recursos Despeses

Beneficiaris Productes

Eficiència/eficàcia

Activitats

Elements externos

Elements externos

Elements externos

PROCÉS

Informe final

Bondats del programa


La necessitat de recopilar informació de dife-rent tipologia i amb diferents objectius finals fa que, molt sovint, les fonts d’informació i els processos de recollida d’informació utilit-zats també divergeixin, la qual cosa, com veu-rem, s’accentua encara més per la diversitat dels valors subjacents en ambdós processos (vegeu el punt següent).

A més, es tracta d’una diferència encara molt present en el panorama actual. no hem d’oblidar que tot i els canvis en el concepte de rendició de comptes, continua molt asso-ciat a les exigències dels donants, els quals, si bé han evolucionat en les seves demandes i sol.liciten cada vegada més informació sobre

En canvi, el seguiment i l’avaluació per a l’aprenentatge se centren en l’anàlisi d’altres aspectes clau. Així, més que la inversió, la des-pesa o les activitats, s’analitzen els proces-sos utilitzats i la seva adequació a la realitat. Els beneficiaris reals (previstos i imprevistos), els canvis aconseguits i els impactes positius i negatius (esperats i no esperats) es conver-teixen en elements centrals de reflexió. El procés pretén descobrir desviacions sobre el que estava planificat i entendre el perquè dels canvis esdevinguts i de les problemàti-ques sorgides en els processos. Es tracta de revelar elements explicatius i detectar punts forts i punts febles que es puguin aplicar per a la millora del programa o projecte.

Il.lustració 4: Elements clau del seguiment per aprendre

Inversió

Recursos/despeses

Beneficiaris esperats

Activitats

Elements exter

ns

PROCÉS

Elemen

ts externs

Resultats esperats

no esperados

Impacte esperat

inesperat

Recomanacions


objectiu final

Elements externos

Beneficiaris inesperats

92

tar, limita la capacitat de les organitzacions de desenvolupar mecanismes de seguiment i avaluació que afavoreixin l’aprenentatge.

Diversitat de valors subjacents entre la rendició de comptes i l’aprenentatge

no hem d’oblidar, a més, que l’enfocament, la perspectiva des de la qual es du a terme el seguiment i l’avaluació, té implicacions im-portants i determina els valors sobre els quals s’han de fonamentar aquests processos, la qual cosa en determina el disseny i el desen-volupament. Podríem dir que la seva validesa tècnica i política difereix.

l’impacte i els resultats del seu finançament, demanen un nivell d’informació i un tipus d’elaboració que no es correspon amb el que és necessari per afavorir l’aprenentatge orga-nitzatiu. En el cas espanyol, com hem vist, la cultura de gestió per pressupostos (vegeu l’apartat dedicat al «Marc institucional i jurí-dic» del capítol 2) i l’actual llei de subvencions radicalitzen encara més aquesta tensió. La justificació econòmica és encara avui en dia l’eix principal del seguiment. Les avaluacions, malgrat els canvis esdevinguts en l’àmbit de la cooperació, són encara molt poc utilitzades com a element real de rendició de comptes, i quan ho són, el seu enfocament no s’orienta a la retroalimentació i l’aprenentatge.

Així, el seguiment i l’avaluació requereixen, en funció de l’objectiu prioritari per al qual es realitzin, instruments i procediments diver-sos. Abordar els dos objectius bàsics en un mateix procés és complex. Per això, davant la sempre present limitació de recursos, tant humans com econòmics, se’n prioritza l’ús per donar resposta a les demandes del finan-çador i no a la pròpia avaluació organitzativa i l’aprenentatge.

Si sumem a aquest fet l’agreujant de la dispa-ritat de demandes informatives dels donants, que queda reflectida en formats de sol.licitud i informes de seguiment i avaluació molt di-versos, amb la càrrega burocràtica i la satu-ració administrativa que això comporta, som davant d’un panorama que, en lloc de fomen-

Cap a l’homogeneïtzació dels criteris de les convocatòries de cooperació descentralitzada

La CongdE va fer el 1999 una proposta per a l’homogeneïtzació dels criteris de base de les con-vocatòries de cooperació descentralitzada en l’àmbit de la cooperació al desenvolupament, l’educació per al desenvolupament i l’acció humanitària.

La proposta, que finalment no va prosperar, tenia com a objectiu aconseguir una major unificació dels tràmits administratius vinculats a la gestió de la co-operació descentralitzada i poder simplificar i reduir la càrrega administrativa que implica aquesta gestió.

En paraules de Cristina Carles, vocal de Cooperació descentralitzada de la CongdE quan es va elabo-rar la proposta, aquesta va néixer «amb l’esperança d’arribar a consensuar un document que realment ens permetés avançar en aquest tipus de procediments administratius amb la finalitat de poder fixar l’atenció en els aspectes més centrals i no tan burocràtics».

94

Enfortiment de microempresaris rurals de turisme vivencial a la península de Chucuito, Puno. Fundación Cátedra Iberoamericana. Perú 2008

95

Quan la rendició de comptes és la prioritat, el rigor, la independència i l’eficiència es con-verteixen en els elements principals que cal tenir en compte. En aquest sentit, la presèn-cia d’avaluadors externs i l’ús de fonts que permetin donar objectivitat a l’anàlisi (dades comptables, factures, enquestes, etc.) són en molts casos fonamentals. La validesa tècnica del procés esdevé clau. És un procés que té com a motor principal el control, i aquest ge-nera moltes vegades por i rebuig en els tre-balladors implicats i condueix, de vegades, a amagar informació rellevant o a posar traves al procés.

En canvi, quan l’aprenentatge és prioritari, l’èmfasi se sol posar en el procés en ell ma-teix, en la participació i la implicació dels di-ferents stakeholders, perquè les conclusions siguin acceptades i posteriorment aplicades per ells, i en el caràcter pràctic de les reco-manacions realitzades. En aquest cas, la pre-sència de personal de l’ongd en el procés de seguiment i avaluació és inqüestionable, i l’ús de dinàmiques que permetin a tots els actors involucrats aportar la seva visió del desenvolu-pament del programa i procés és un element que cal tenir molt en compte. Sense oblidar la importància de la validesa tècnica del procés, la validesa política pren importància.

Veiem, doncs, que els fonaments i els criteris bàsics de definició dels processos de segui-ment i avaluació diferiran segons els objectius que es posin o es prioritzin. És una diferència

Mecanismes senzills per pal.liar la tensió entre passar comptes i l’aprenentatge

• Disposar de criteris organitzatius propis per decidir en quins casos interessa dedicar recursos interns al seguiment i l’avaluació orientats a l’aprenentatge

• No iniciar cap procés de seguiment i avaluació fixat com a requisit per als donants sense abans haver es-tablert un procés per incorporar al sistema preguntes útils orientades a l’aprenentatge, si és que el projecte o programa es considera interessant des dels criteris organizatius fixats.

• Analitzar les sol.licituds d’informació i demandes dels donants des de la perspectiva de l’aprenentatge. Qui-nes aportacions a l’aprenentatge organizatiu pot fer la informació sol.licitada? Crear mecanismes d’anàlisi.

• Sol.licitar als principals implicats del programa o pro-jecte que cal seguir/avaluar, en els diferents nivells de l’organització, quina informació els seria útil recopilar per millorar la gestió del projecte i/o prendre deci-sions estratègiques.

• Processar les preguntes recopilades i introduir-les als processos de seguiment i avaluació i els formularis definits pels donants.

• Introduir els elements d’aprenentatge en els termes de referència.

• Seleccionar la informació dels formularis dels do-nants i les noves preguntes generades que poden contribuir a l’aprenentatge i crear mecanismes in-terns de difusió, emmagatzematge i anàlisi d’aquesta informació.

• Disposar d’equips mixtos d’avaluadors externs i in-terns en els processos d’avaluació.

• Incorporar, durant el procés de seguiment i avaluació, espais de participació.

Elaborat a partir de les aportacions fetes per les ongd. entrevistades

96

Els donants exigeixen resultats, demanen mostres de productes resultants i despeses realitzades per poder justificar les seves prò-pies inversions. Així, la necessitat lògica de controlar la despesa i assegurar els resultats de la inversió esdevé l’element central dels sistemes de seguiment i avaluació de gran part d’aquests donants. 38

Tot i que cada vegada són més els que incor-poren l’avaluació final i la necessitat de dispo-sar d’evidències de l’impacte entre les seves exigències, encara som lluny d’un sistema que fomenti l’aprenentatge real. Les avalua-

38 En el cas del finançament públic espanyol, com ja hem vist, el control financer es converteix, a més, en molts casos en l’element fonamental per seguir i avaluar projectes i programes.

que, moltes vegades, les ongd troben difícil de conjugar en un mateix procés.

Existència d’una cultura de seguiment i avaluació enfocada al control

La diversitat dels valors subjacents en els processos de seguiment i avaluació segons els objectius prioritzats s’agreuja a causa de l’existència d’una cultura de seguiment i ava-luació basada en la desconfiança.

En molts casos, entre els donants i les organit-zacions, i també entre les contraparts, encara hi ha la mentalitat d’associar el seguiment i l’avaluació al control; un control del qual se suposa que depèn un element clau: la conti-nuïtat del finançament. no hem d’oblidar que perquè hi hagi l’aprenentatge hi ha d’haver un entorn segur, en què les persones sentin que poden informar de les deficiències detecta-des sense témer-ne les conseqüències.

La pressió constant exercida sobre les ongd —pels mecanismes de seguiment establerts pels donants— per demostrar resultats fa que moltes vegades es defugi d’entrar en una anàlisi crítica dels programes desenvolupats i genera una preocupació comprensible a l’ho-ra de publicar, o fins i tot compartir, les lliçons apreses quan un programa no ha complert les expectatives. Aquesta preocupació frena el desenvolupament de xarxes d’aprenentatge i la construcció d’un dipòsit de coneixement comú entre les ongd espanyoles.

Nou sistema de selecció i seguiment dels projectes finançats per l’Obra Social ”la Caixa”

L’obra Social ”la Caixa” ha fet recentment un canvi en el sistema de selecció i seguiment dels programes pre-sentats a la convocatòria d’ajudes per a programes de desenvolupament socioeconòmic.

El nou sistema creat es basa en un procés de selecció més estricte, en el qual la valoració de la capacitat dels actors implicats i la pertinència del programa presentat són bàsics.

A partir d’aquesta selecció, el sistema de seguiment i avaluació establert pretén basar-se en un procés de confiança mútua, i accepta modificacions substancials, tant en l’aspecte econòmic com en el disseny, quan estan degudament justificades.

97

Aquesta relació hauria de conduir a sistemes de seguiment i avaluació en els quals la selec-ció dels actors i la construcció de relacions de confiança fos clau; uns sistemes en què més que controlar la despesa i els inputs a curt ter-mini, es pactessin uns objectius a mitjà i llarg termini, basats en estratègies compartides, i en què es fes un seguiment dels processos desenvolupats per assolir els impactes espe-rats; uns sistemes que consideressin, com a part natural de la consecució d’objectius soci-als a llarg termini, la necessitat de modificar, adaptar i canviar el que estava planificat; uns sistemes que obliguessin a integrar l’apre-nentatge com a part del procés de desenvo-lupament de qualsevol programa o projecte.

L’actual enfocament de seguiment i avalu-ació centrat exclusivament en el projecte i programa (no tant aquest últim), exigit pels donants, i assumit per les ongd, suposa una dificultat afegida per a l’aprenentatge institu-cional. La rendició de comptes es construeix així des de la ignorància de les implicacions estratègiques i institucionals que un determi-nat projecte o programa pot tenir. Així mateix, en la major part dels casos, no planteja la re-productibilitat o la relació amb altres projectes o programes com un element d’anàlisi clau. Tots aquests aspectes són fonamentals si es volen desenvolupar processos d’aprenentat-ge institucional.

cions exigides pels donants en darrer terme es converteixen, sovint, en un element més de justificació, que aporta poca informació crítica per a la millora. no hem d’oblidar que són les mateixes ongd les que, a través del finançament compromès pels donants, contracten els consultors externs. Aquests consultors volen satisfer els seus clients, i els clients necessiten aprendre, però amb aquesta avaluació busquen justificar davant del donant la bondat del projecte o programa realitzat. La falta de confiança es converteix novament en un element que frena la utilitat del procés.

Desenvolupament de sistemes de seguiment i avaluació amb un enfocament molt centrat en programes i projectes i poc en actors i institucions

Els sistemes de seguiment i avaluació esta-blerts pels donants es construeixen sobre la base del concepte de projecte i programa i te-nen molt poc presents, malgrat la seva impor-tància clau, els actors participants. En aquest sentit, podem afirmar que són uns sistemes que se situen encara molt lluny dels nous en-focaments de gestió plantejats a París, Roma o Marràqueix. Lamentablement moltes vega-des aquests sistemes es traslladen, per bé que els discursos vagin en una altra línia, a la relació entre l’ongd espanyola i la contrapart local, i estan més fonamentats en el control de l’acció que en una relació real de partena-riat/soci estratègic.

98

els convenis amb l’AeCID i el sistema de qualificació de les ONGD

des del 2005, l’AECId ha canviat l’estratègia de rela-ció amb les ongd finançades, i ha establert un sis-tema previ de qualificació, amb la finalitat d’acreditar que aquestes, d’acord amb la seva estructura i la seva capacitat institucional, provades mitjançant una valoració objectiva i rigorosa, reuneixin les aptituds oportunes per actuar com a «ongd qualificada» en la consecució compartida d’objectius de desenvolu-pament generals amb l’AECId.

Les ongd qualificades poden signar convenis amb l’AECId. Els convenis regulen els continguts, objec-tius, terminis i beneficiaris de la intervenció que s’ha d’executar i per a la qual s’ha concedit subvenció. Tenen caràcter pluriennal, i la seva finalitat és la con-secució d’un objectiu general de desenvolupament compartit entre l’entitat beneficiària i l’AECId. El procediment de qualificació de les ongd, que es defineix a través de convocatòria pública, ha de pre-veure una valoració quantitativa i una valoració quali-tativa. Ambdues valoracions s’integren en una única valoració global, d’acord amb les ponderacions que s’estableixin en la convocatòria.

La valoració quantitativa analitza la capacitat ins-tal.lada dels recursos humans i econòmics de l’ongd i, en particular, els volums de cooperació registrats en els últims deu anys, la presència en regions i països, els sectors d’especialització i incidència, l’estructura professional permanent i el nombre de socis i volun-taris. La valoració qualitativa analitza la capacitat organit-zativa i la coherència de l’activitat de l’ongd, així com l’existència de suports documentals en tots

els àmbits assenyalats que avalin l’objetivitat de la valoració.

Pros i contres del nou sistema de qualificació

• Cal destacar com a positiva la voluntat d’establir una relació de treball més propera amb les ongd, amb programes de més durada i més suma financera. Aquests convenis suposen la constatació d’un alt ni-vell de corresponsabilització de les ongd en el des-envolupament de la política de cooperació, marcada en el Pla director. En aquest sentit, l’exhaustiva ava-luació ex ante dels socis és un element fonamental, que genera relacions de més confiança i més com-promís per ambdues parts.

• Malgrat això, el sistema de qualificació implemen-tat per l’AECId deixa fora la majoria de les ongd espanyoles. només les més grans són finalment qualificades, atesos els alts requeriments adminis-tratius i operacionals, cosa que pot anar en detri-ment de la selecció dels millors projectes.

• El sistema avalua la capacitat de les ONGD es-panyoles i no de les contraparts locals i, en canvi, aquestes tenen un paper cada vegada més impor-tant en l’execució dels projectes. El sistema so-breentén que les ongd espanyoles qualificades porten a terme, al seu torn, una exhaustiva anàlisi i selecció de les contraparts amb les quals treballen. Tot i així, en queden excloses les contraparts que podrien estar també qualificades, però que treba-llen amb ongd espanyoles petites.

• El sistema encara es fonamenta en una relació de poder desigual que posa en risc la independència de les ongd i la seva capacitat d’actuació al marge del sistema.

Elaboració pròpia a partir de les aportacions dels en-trevistats

99

mes de referència preguntes d’avaluació que siguin útils per al seu propi aprenentatge. En aquest sentit, dur a terme avaluacions mix-tes, en les quals participi personal extern i propi de l’ongd, pot ser un pas important per avançar.

Si bé és cert, com hem vist, que rendició de comptes i aprenentatge poden ser objectius no enterament compatibles —es basen en criteris diferents i requereixen sistemes de generació d’informació diversa—, també és cert que és possible construir processos de seguiment i avaluació que permetin cobrir, potser no el 100 %, però sí una part dels dos objectius de manera compartida. Però perquè això sigui possible, és necessari diposar de personal preparat per fer-ho. La majoria de vegades, el poc aprofitament del procés de seguiment i avaluació obligatori, per part dels donants, per fomentar l’aprenentatge organit-zatiu és degut a la falta de temps i capacitat del personal de la mateixa ongd. Malaurada-ment, són encara una gran minoria les ongd espanyoles que disposen de personal dedicat específicament a potenciar les avaluacions o l’aprenentatge organitzatiu. Sol ser el mateix responsable de projectes o programes qui ha d’assumir, enmig de la voràgine del dia a dia, la realització de processos de seguiment i avaluació, els quals, com ja hem vist, mol-tes vegades es perceben més com un control extern que no pas com una oportunitat per a l’aprenentatge; més com una càrrega admi-nistrativa que no pas com un instrument que

Falta de recursos i capacitats, sobretot, en l’àmbit de l’avaluació

Com hem vist en l’apartat referent al diagnòs-tic, l’elevat cost de les avaluacions i la falta de recursos econòmics són esgrimits per algu-nes organitzacions com la raó principal per no impulsar avaluacions pròpies o sistemes de seguiment específics orientats cap a l’apre-nentatge organitzatiu.

L’avaluació, moltes vegades, es limita als pro-jectes i programes finançats per donants que ho requereixen. Es fa per rendir comptes, i són encara ben poques les organitzacions que aprofiten els processos d’avaluació obli-gatoris per extreure’n aprenentatges organit-zatius valuosos.

A més, l’ús d’avaluadors externs per dur a terme aquests processos —un requisit es-tablert per molts donants— i la inexistència, en la majoria de les organitzacions, de per-sonal preparat per dirigir i orientar aquestes avaluacions impedeixen aprofitar el potencial que ofereixen. no hem d’oblidar que quan es contracta un consultor extern perquè porti a terme una avaluació, és el consultor qui en darrer terme guanya la major part de l’apre-nentatge que es genera. Aquest aprenentat-ge no sempre s’aboca a l’informe d’avaluació que es realitza, el qual, en general, pretén respondre exclusivament a les demandes del donant, ja que encara hi ha molt poques ongd que aprofiten per introduir en els ter-

100

manes perquè sigui viable; un aprenentatge que en el nou entorn que es dibuixa, i vistos els reptes que les ongd han d’assumir, és cada vegada més important. nous àmbits i no-ves formes d’intervenció i diferents objectius de desenvolupament fan sorgir nous aspectes que cal incorporar al seguiment i l’avaluació, transformen l’orientació dels processos i ge-neren dubtes, com veurem, sobre qui i com s’ha seguit i avaluat tradicionalment. Aquests dubtes fan més necessari que mai per part de les ongd una aposta clara per l’aprenentatge organitzatiu; una aposta que passa, en part, per dedicar recursos i, sobretot, per capacitar el personal perquè el seguiment i l’avaluació esdevinguin elements bàsics del cicle de ges-tió de projectes.

1.2. Altres barreres a l’aprenentatge organitzatiu. Més enllà de la tensió entre rendició de comptes i aprenentatge

Però la dificultat de les ongd a l’hora de desenvolupar sistemes de seguiment i ava-luació que fomentin l’aprenentatge va més enllà de la tensió entre rendició de comptes i aprenentatge. Les mateixes inèrcies orga-nitzatives, els interessos dels diferents stake-holders per mantenir les coses com estan, la por, la falta d’un lideratge que impulsi la refle-xió, l’elevada rotació de personal i la inexis-tència d’incentius per aprendre són elements que podem trobar en organitzacions de qual-sevol sector i que expliquen per què és tan

genera informació útil per a la millora. La fal-ta d’integració, especialment, de l’avaluació com a element bàsic del cicle de gestió del projecte agreuja aquesta percepció.

Si a aquest fet sumem la visió moltes vega-des errònia —fomentada de vegades pels mateixos experts avaluadors i basada en el desconeixement per part del personal de les ongd— que iniciar una avaluació vàlida, que generi resultats veraços i útils, és enorme-ment complex i costós, ens trobem amb un panorama organitzatiu poc propens —malgrat els discursos en una altra línia— a impulsar i integrar l’avaluació com un element clau de l’aprenentatge, la qual cosa no fa més que enfortir la tensió entre rendició de comptes i aprenentatge.

Es tracta d’un aprenentatge que, evidentment, requereix recursos econòmics i capacitats hu-

El Fòrum AOD de la FRIDE va ser concebut com un espai de debat obert, centrat principalment en l’eficàcia de l’ajuda oficial al desenvolupament d’Espanya, i ha esdevingut un referent del sector. La seva creació és un bon exemple de com a tra-vés de la reflexió, la creació de materials sim-ples que transmetin resultats d’investigacions i l’obertura d’un espai compartit en el qual inves-tigadors i sobretot professionals del sector poden compartir informació i debatre sobre la realitat, pot millorar la capacitat del sector i, per tant, l’eficàcia de la seva intervenció

101

la causa per la qual treballen. En certa mane-ra, el seu treball dóna sentit a la seva vida, és mostra del seu compromís personal amb uns valors i una manera de veure el món: qüesti-onar-lo, avaluar-lo i analitzar-lo vol dir qüestio-nar, avaluar i analitzar la seva pròpia vida i, per tant, es converteix en un repte per a alguns difícil d’assumir.

Existència d’una cultura de l’activisme, tradicional rebuig d’instruments de seguiment i control

Aquest fet s’agreuja, com expliquen alguns autors, com ara Edwards i Hulme o Masfield, per la cultura activista de les ongd del nord, basada tradicionalment més en l’acció que en la reflexió. Aquesta cultura s’ha vist reforçada per la pressió per gastar que el finançament aliè dels projectes comporta per a les ongd.39

Les persones vinculades al món de les ongd són, en general, persones motivades per l’ac-ció i el canvi, que se senten més còmodes actuant que analitzant sistemàticament el que fan. Així, malgrat que no podem negar que en els últims anys s’ha produït, sobretot a les grans organitzacions, un canvi important en aquest sentit, a les ongd encara són es-

39 Els diners procedents de convocatòries pú-bliques o privades s’ha de gastar en un temps determinat, perquè el projecte o programa s’ha d’executar dins del termini previst. La pressió del temps, la pressió per gastar, es converteix, en aquest sentit, en un fre a la reflexió.

difícil moltes vegades aprendre de la pròpia experiència.

Aquesta dificultat es veu especialment agreu-jada a les ongd a causa de diverses especi-ficitats del sector, entre les quals considerem important destacar les següents:

Necessitat d’històries d’èxit

Com ja detectàvem quan fèiem el diagnòstic del sector, al sector de les ongd preval un discurs d’«èxit necessari», com si les inter-vencions fossin gairebé científiques i no hi ha-gués marge per a l’error. Aquest discurs neix de l’elevada necessitat de disposar d’històries d’èxit que legitimin l’existència de les ongd (vegeu Roche, 1998). Es tracta d’unes històri-es d’èxit a partir de les quals es pot sostenir la motivació dels treballadors i les persones im-plicades. Enfront de la magnitud dels proble-mes afrontats i la visió negativa que aporten algunes dades, les ongd necessiten creure en l’impacte positiu de la seva acció, neces-siten històries que justifiquin i donin sentit a les seves intervencions. Aquesta necessitat, humana i organitzativa, es tradueix en la ine-xistència d’un esperit d’autocrítica dins de la major part de les organitzacions del sector, tot i que no, paradoxalment, a nivell sectorial.

Aquesta necessitat d’històries d’èxit es veu reforçada, a més, per la considerable presèn-cia en aquest sector de persones que tenen un important vincle emocional-personal amb

102

cassos els espais de reflexió sistematitzada. La poca sistematització d’experiències, la ine-xistència de mecanismes de reflexió i difusió que motivin la innovació i l’encara incipient cultura de planificació i gestió per resultats caracteritzen un sector en què, en canvi, és molt present el debat ideològic.

Aquest debat ideològic ha conduït, moltes ve-gades, a la construcció d’organitzacions que, per oposició a altres models organitzatius, han intentat fugir dels mecanismes tradicio-nals de control i seguiment; unes organitza-cions que, en defugir la sistematització, la je-rarquització, etc., han dificultat l’aprenentatge que pretenien fomentar.

La transformació d’alguns elements culturals del sector de les ongd es converteix, doncs, en un dels passos previs necessaris per avan-çar en la construcció de sistemes de segui-ment i avaluació orientats a l’aprenentatge. És important que les ongd reconeguin la presència de l’«error» com a element intrín-sec de la seva intervenció i eduquin les soci-etats del nord i els seus propis treballadors perquè acceptin i admetin aquesta realitat. d’altra banda, cal superar la reticència a l’ús d’instruments de gestió que tradicionalment s’ha donat en aquest sector.

Per tant, les ongd necessiten líders que, assumint els riscos que impliquen, puguin transformar les dinàmiques tradicionals asso-ciades al sector.

els deu temors principals dels funcionaris de les agències de desenvolupament

Patton (1998) va definir els deu temors principals dels funcionaris de les agències de desenvolupament davant de l’avaluació. Aquests temors també apareixen en molts treballadors d’ongd:• Temor que li assignin més responsabilitat sense atorgar-

li més control i més recursos.• Temor a ser culpat: temor que l’avaluació s’utilitzi per

castigar.• Temor a ser avergonyit: temor que es ressaltin les de-

bilitats i es facin visibles els fracassos, temor que els in-vestigadors puguin fer que l’interessat sembli «estúpid» mitjançant mesures i diagrames complicats.

• Temor a més competència —quan es fan compara-cions— i a les conseqüències de perdre en la compe-tència.

• Temor que l’avaluació no sigui justa; per exemple, que s’apliquin criteris inapropiats o que es formulin conclu-sions o es facin judicis fora de context.

• Temor a la inseguretat, causada pel fet de no saber què s’hi inclourà, què s’hi descobrirà o com s’utilizaran els resultats; temor que no es mesurin les coses importants o que es vegin massa simples.

• Temor a no ser escoltat: la credibilitat de l’avaluació és debilitada per la manera en què s’imposa, ordena o exi-geix, sense involucrar o consultar el personal; temor a l’arrogància de l’avaluador.

• Temor derivat de males experiències anteriors amb l’avaluació: promeses incomplertes, abusos passats, usos indeguts, informes no pertinents, assumptes im-portants no anotats, recomanacions extretes del no-res, etc.

• Temor que el risc sigui massa alt: llocs de treball, carrera professional, supervivència del programa, recursos, re-putació.

• Temor a l’aspecte polític: escepticisme respecte que les consideracions polítiques s’imposin sobre les altres, i respecte al cinisme dels dirigents que diuen que «aques-ta vegada serà diferent».

103

tats, i l’existència de complexes estructures organitzatives; una complexitat que a vega-des condueix a relacions de poder desiguals i a desconfiances que dificulten l’accés a in-formacions reals i veritables i al desenvolupa-ment de la concepció de l’aprenentatge com un element central de l’organització.

Malauradament, de vegades, entre les ongd i les seves contraparts-socis locals, o entre la seu central i les seves delegacions als països, es reprodueixen els models de relació desigual que es donen entre els donants i les ongd; uns models que no fomenten ni la confian-ça ni la construcció de fluxos d’aprenentatge bidireccionals. En aquest sentit, és necessa-

Complexes estructures organitzatives i entramat de relacions. Distàncies geogràfiques entre el punt de presa de decisions i el d’intervenció

La distància geogràfica entre el punt en què es prenen les decisions institucionals i el punt en què s’executen els projectes o programes implica la inevitable existència de certs gaps d’informació i la dificultat per fer que els flu-xos d’informació funcionin correctament. I aquesta distància es fa encara més gran si afegim a aquest element la participació, en tot el procés de gestió dels projectes i progra-mes, d’actors diversos (contraparts, governs locals, etc.) amb diferents cultures i sensibili-

Il.lustració 5: La cultura de la urgència a les ONGD

104

ri treballar des de les ongd espanyoles per construir una nova relació de confiança amb els seus socis locals i el personal sobre el ter-reny. La definició de noves estructures orga-nitzatives més simples i que acostin la presa de decisions al lloc de la intervenció, l’ús de sistemes d’informació que permetin un accés fàcil i directe a la informació compartida i el fo-ment d’una cultura d’aprenentatge i confiança que la iniciativa i el reconeixement d’errors no seran «castigats» formen part d’algunes de les accions que es poden emprendre per ca-minar cap a l’aprenentatge.

Esquerda entre el nivell operatiu i el nivell institucional

Però l’esquerda entre el nivell operatiu, en el qual es gestionen els projectes i programes, i el nivell institucional, en el qual es prenen les decisions organitzatives, va més enllà de la distància física.

Moltes vegades, les organitzacions no dispo-sen de mecanismes que els permetin integrar les conclusions extretes en el seguiment i l’ava-luació de projectes i programes en els seus pro-cessos de decisió. La informació recopilada en la multiplicitat d’informes de seguiment i avalu-ació queda guardada, no es processa correcta-ment o no arriba a les persones que prenen les decisions i estableixen les polítiques.

Altres vegades, els processos dissenyats per integrar aquesta informació i fer el salt del

L’experiència de Cordaid

Cordaid és una organització holandesa que té més de vuitanta anys d’experiència. Treballa amb una xarxa de gairebé mil organitzacions-contraparts a 36 països d’Àfrica, Àsia, l’Europa Central i oriental i l’Amèrica Llatina.

La construcció d’una xarxa d’actors del desenvo-lupament com a element central per a la transfor-mació és un element fonamental de l’estratègia d’intervenció de l’organització. Perquè aquesta xar-xa d’actors sigui una realitat, Cordaid té una clara política de contraparts, en la qual destaquem tres activitats clau:

1. Finançament estratègic. Cordaid dóna suport financerament a les seves organitzacions contra-parts basant-se en una anàlisi d’inclusió dels grups vulnerables. El finançament es pacta a llarg termini, d’acord amb un programa d’intervenció compartit.

2. Vinculació i aprenentatge. El concepte de «xarxa» s’estén a totes les entitats-contraparts de Cordaid, que comparteixen espais d’aprenentatge, tant virtuals com reals. La innovació és un factor crucial en la lluita contra la pobresa. Cordaid inver-teix en vinculació i aprenentatge per millorar la ca-pacitat d’innovació en la xarxa de contraparts. En vincular les organitzacions-contraparts entre elles i amb altres agents, les posa en contacte amb nous conceptes i tecnologies. Es tracta de vincles tant Sud-Sud com nord-Sud. Cordaid facilita l’intercanvi a través de l’organització i el finançament de visites de treball, tallers i discussions a Internet. Aques-ta trobada genera nous coneixements i formes de treball. Aprendre és un procés continu basat en experiències. Els resultats, bons o dolents, són el punt de partida per aprendre en la pràctica: què és

105

prendre decisions estratègiques amb conei-xement, ofereixen moltes vegades una foto-grafia excessivament sintètica i allunyada de la realitat. És una fotografia que no reflecteix el nivell operatiu i que, lamentablement, po-ques vegades inclou les conclusions i reco-manacions extretes dels processos d’avalua-ció i seguiment. Hem de tenir present que els responsables del seguiment i l’avaluació dels programes i projectes, fins i tot en cas d’haver-hi unitats operatives específiques que s’hi dediquin, so-len tenir poc pes específic dins de l’organigra-ma institucional, i això els limita la capacitat per influir en la presa de decisions.

La creació de criteris que permetin fer una selecció dels projectes i programes que s’avaluaran, o sobre els quals es processarà la informació derivada del seu seguiment a nivell institucional, pot ser un bon mecanis-me per reduir el col.lapse d’informació i ge-nerar coneixement útil que realment pugui ser tingut en compte en la presa de decisions institucional. Parlem d’uns criteris que cada organització haurà de crear i adaptar segons el moment institucional en què es trobi, com ara, per exemple, el valor estratègic d’un pro-jecte, el seu caràcter innovador, les dificultats detectades, la zona geogràfica en què es re-alitza, etc.

La disposició de criteris que permetin do-nar prioritat a l’interès que alguns projectes

nivell operatiu a l’institucional no funcionen o presenten seriosos problemes d’aplicació. Els quadres de comandament operatius que pretenen recollir, a través d’indicadors, la re-alitat dels programes i projectes, per poder

el que va funcionar bé?, què és el que va fracas-sar?, i per què? Els resultats es reflecteixen en in-formes, avaluacions i estudis. En cada programa es formula, juntament amb les contraparts, un trajecte d’innovació que s’alineï amb la pràctica de les or-ganitzacions-contraparts. Es coordinen els trajectes d’innovació amb aliats estratègics i xarxes al Sud i el nord. S’inverteix en la capacitat d’aprenentatge dins de la xarxa de contraparts, per exemple, de-manant a investigadors del Sud que sistematitzin i vinculin les experiències de les contraparts. Es continuarà ajudant les contraparts a enfortir el seu sistema de PPME (planificació, pressupostació, monitoratge i avaluació) en relació amb els trajectes més amplis per al desenvolupament organitzatiu institucional. En aquest sentit, es treballa tant com es pot la coordinació amb organitzacions del Sud per enfortir la capacitat i el desenvolupament orga-nitzatiu. Els instituts acadèmics ocupen una funció crucial en la vinculació i l’aprenentatge

3. Desenvolupament de capacitat de les organit-zacions-contraparts. En la majoria de les relacions amb contraparts, Cordaid finança activitats de des-envolupament de capacitat en l’àrea d’estratègies i polítiques, planificació, gestió (financera), moni-toreig i avaluació. Els avanços es mesuren sobre la base de l’escrutini de l’organització, que consta de trenta indicadors dividits en sis dimensions de desenvolupament organitzatiu. Per a cada orga-nització-contrapart, es completa la inspecció de l’organització al principi i al final d’un finançament.

106

ment i preguntes d’avaluació adequats. En aquest sentit, és important que quan es dis-senyin processos de seguiment i avaluació es tinguin en compte els futurs usuaris —les per-sones que haurien d’aplicar les recomanaci-ons o correccions que sorgeixin derivades del procés— perquè participin en l’elaboració de les preguntes o en la decisió sobre quina infor-

o programes poden tenir per l’aprenentatge institucional també ha de permetre focalitzar els recursos escassos i els esforços en avalu-acions que realment siguin útils per a l’orga-nització.

Aquesta utilitat també serà determinada, en gran part, pel plantejament d’ítems de segui-

el sistema Compass Qualité ideat per URD

L’organització URd (Urgence Réhabilitation déve-loppement) ha creat un sistema global de qualitat concebut tant per seguir els projectes com per avaluar-los. Concebut inicialment per a projectes humanitaris, aquest mètode és adaptable a projec-tes i programes de desenvolupament. La «facilitat» de construir a partir del mètode un quadre de co-mandament de cada projecte es converteix en una de les seves virtuts principals, com també ho és la derivació de les preguntes que s’han de respondre per assegurar la qualitat del projecte en cadascuna de les seves fases.

El mètode es construeix a partir de dotze criteris clau que defineixen, segons els seus creadors, la qualitat d’un projecte humanitari i que col.loquen la població afectada en el referent, en el centre fo-namental del seguiment i l’avaluació del projecte.

Els dotze criteris es poden agrupar en dos grans grups: un primer grup format pels quatre criteris clau d’impacte i de resultat; i un segon grup format per vuit criteris d’estructura i de procés, relatius al projecte i l’agent. Parlem en aquest segon cas de criteris fonamentals per aconseguir els quatre crite-ris clau del primer grup.

Criteris clau d’impacte i resultat: 1. El projecte respon a una necessitat demostrada.2. S’assoleixen els objectius del projecte. 3. S’eviten o s’atenuen els impactes negatius del

projecte. 4. El projecte pretén un impacte positiu més enllà

de la intervenció.

Criteris clau d’estructura i procediment:1. El projecte és coherent amb la direcció i els prin-

cipis de l’organització. 2. El projecte respecta la població.3. El projecte és flexible.4. El projecte s’insereix de manera òptima en l’entorn.5. L’agent (contrapart i ongd) utilitza les lliçons

apreses de l’experiència.6. L’agent utilitza els recursos de manera òptima.7. L’agent té capacitat de gestió adaptada a les ne-

cessitats.8. L’agent té els recursos i l’experiència necessaris.

d’aquests dotze criteris bàsics, en deriven pregun-tes que s’han de respondre en cadascuna de les etapes del cicle del projecte i que poden ajudar a introduir els criteris de qualitat en les diferents eta-pes i fer-ne un seguiment. Així mateix, dels dot-ze criteris es desprenen un seguit d’indicadors de qualitat que es converteixen en referent per seguir i avaluar els projectes.

108

Programa de Acciones Concertadas de los oasis en el Maghreb (PACo). Cives Mundi 2008

109

ca. Per evitar aquest risc, és important que els ítems de seguiment i les preguntes d’avalua-ció, així com les conclusions i recomanacions derivades d’aquests processos, siguin negoci-ats i consensuats entre els seus futurs usuaris i les instàncies institucionals que impulsen la realització del seguiment i l’avaluació.

mació cal recollir. La falta de participació dels futurs usuaris de les recomanacions derivades del seguiment i l’avaluació en els seus proces-sos de disseny fa que moltes vegades els re-sultats es percebin com una imposició des del nivell institucional cap a l’operatiu, i que aquest últim en qüestioni la validesa política o tècni-

La política de seguiment i avaluació d’entreculturas

Entreculturas disposa d’una detallada política de seguiment i avaluació per escrit que estableix la participació i el consens entre motivadors de l’avaluació (qui la impulsa) i usuaris, per a la definició de les preguntes d’avaluació, com un mecanisme fonamental per determinar-ne la validesa i la utilitat futures. Per això, defineix un conjunt de principis que han de guiar el procés d’avaluació. Entre aquests principis hi ha, per exemple, els següents:

1. El PRINCIPI DEL PACTE D’ÚS, pel qual l’entitat no posarà en marxa processos d’avaluació sense haver acordat abans unes pautes mínimes entre els motivadors i els usuaris sobre l’ús que se’n farà.

2. El PRINCIPI DE LA VALIDESA I LA UTILITAT POLITICOGERENCIALS, pel qual s’aposta per la participació acordada entre col.lectius de motivadors i usuaris en la seqüència de decisions concertades que va configurant la utilitat de l’avaluació: la validesa tècnica i política de les seves conclusions, la retroalimentació i l’aplicabilitat gerencial i política de les recomanacions. d’altra banda, Entreculturas també disposa, dins d’aquesta política, d’una definició dels criteris fonamentals a partir dels quals se seleccionen, més enllà dels projectes o programes en els quals l’avaluació és obligatòria, els projectes o programes sobre els quals es farà una avaluació orientada a l’aprenentatge. Anualment, Entreculturas avalua al voltant de cinc programes o projectes amb una orientació a l’aprenentatge, alguns d’avaluació obligada per part dels donants i als quals s’incorpora l’enfocament d’aprenentatge

CRITERIS FONAMENTALS

Projectes l’avaluació dels quals ens permet millorar la qualitat de les nostres accions. És fonamental poder contrastar que el treball de cooperació dut a terme contribueix a afavorir el

110

desenvolupament a través de l’educació popular dels pobles i les comunitats amb els quals treballem juntament amb els nostres socis locals

Projectes l’avaluació dels quals ens permet enriquir el nostre discurs com a organització; un discurs propositiu, realista, especialitzat i contrastat en la pràctica. Això ens permetrà millorar la nostra presència en la societat espanyola.

Sense caure a avaluar únicament el que ja és conegut i tradicional (que toparia amb el criteri anterior d’enriquiment), a Entreculturas volem avaluar projectes que siguin representatius, això és:

Que siguin representatius del treball d’Entreculturas, que incloguin línies d’acció estratègiques sobre les quals convingui fer una mirada evaluativa amb vista al futur.

Que es portin a terme en països representatius per a Entreculturas, amb un passat de col.laboració conjunta entre ambdues organitzacions i amb perspectives de continuïtat.

Que siguin comparables amb uns altres en successives avaluacions, de manera que es puguin extreure les millors pràctiques segons les temàtiques dels projectes

Projectes executats per socis locals confiables i coneguts, que reuneixen uns mínims tècnics i d’informació. Es tracta de tenir elements documentals i d’entorn de treball que maximitzin l’eficiència valorativa (màxims assoliments amb els recursos disponibles). En aquest sentit, seran elegibles:

Projectes en els quals es disposa d’informació de qualitat, que inclou:

desenvolupament ampli del context socioeconòmic que justifiqui la intervenció.

Justificació detallada en funció del context (pertinència).

Anàlisi dels beneficiaris (amb relació al context).

Anàlisi de la situació educativa a la zona d’intervenció.

desenvolupament suficient de la seva viabilitat i sostenibilitat (lligada al context).

Comunitats locals amb un bon grau de cohesió, obertes, disposades a col.laborar i en les quals la contrapart local té bona entrada.

Contraparts locals amb els membres de les quals es té més confiança personal.

Projectes que funcionen o han funcionat relativament bé, dels quals es poden extreure força conclusions i recomanacions per millorar la qualitat de la nostra cooperació.

111

desenvolupament a través de l’educació popular dels pobles i les comunitats amb els quals treballem juntament amb els nostres socis locals

Projectes l’avaluació dels quals ens permet enriquir el nostre discurs com a organització; un discurs propositiu, realista, especialitzat i contrastat en la pràctica. Això ens permetrà millorar la nostra presència en la societat espanyola.

Sense caure a avaluar únicament el que ja és conegut i tradicional (que toparia amb el criteri anterior d’enriquiment), a Entreculturas volem avaluar projectes que siguin representatius, això és:

Que siguin representatius del treball d’Entreculturas, que incloguin línies d’acció estratègiques sobre les quals convingui fer una mirada evaluativa amb vista al futur.

Que es portin a terme en països representatius per a Entreculturas, amb un passat de col.laboració conjunta entre ambdues organitzacions i amb perspectives de continuïtat.

Que siguin comparables amb uns altres en successives avaluacions, de manera que es puguin extreure les millors pràctiques segons les temàtiques dels projectes

Projectes executats per socis locals confiables i coneguts, que reuneixen uns mínims tècnics i d’informació. Es tracta de tenir elements documentals i d’entorn de treball que maximitzin l’eficiència valorativa (màxims assoliments amb els recursos disponibles). En aquest sentit, seran elegibles:

Projectes en els quals es disposa d’informació de qualitat, que inclou:

desenvolupament ampli del context socioeconòmic que justifiqui la intervenció.

Justificació detallada en funció del context (pertinència).

Anàlisi dels beneficiaris (amb relació al context).

Anàlisi de la situació educativa a la zona d’intervenció.

desenvolupament suficient de la seva viabilitat i sostenibilitat (lligada al context).

Comunitats locals amb un bon grau de cohesió, obertes, disposades a col.laborar i en les quals la contrapart local té bona entrada.

Contraparts locals amb els membres de les quals es té més confiança personal.

Projectes que funcionen o han funcionat relativament bé, dels quals es poden extreure força conclusions i recomanacions per millorar la qualitat de la nostra cooperació.

un futur proper a una transformació evident del rol d’aquests sistemes dins de la coopera-ció espanyola, que també podem observar a nivell internacional.

Podem analitzar així l’existència del que es co-neix com les tres generacions de seguiment i avaluació, tres formes diferents d’aproximar-se a aquesta funció. Tradicionalment, el seguiment i l’avaluació s’han vinculat estretament al mesurament de productes i resultats de programes i projec-tes. Podem afirmar, tal com planteja el docu-ment «Avaluació democràtica» de la UnICEF, document de Treball núm. 3, que es tracta de mesurar i valorar resultats i comparar-los, més que d’avaluar-los. Per poder fer el seguiment i l’avaluació des d’aquesta perspectiva, és fonamental disposar d’un projecte dissenyat a partir d’un model lògic i establir els meca-nismes i els indicadors necessaris per poder mesurar-ne els resultats i l’evolució. Tenim, doncs, una primera generació de seguiment i avaluació fonamentada en una aproximació quantitativa i tècnica, en la qual l’important és aconseguir dades contrastades i objectius que permetin verificar els resultats.

Posteriorment, en el context internacional i pa-ral.lelament al creixent interès dels governs i la societat per conèixer l’impacte real de la coo-peració, neix una segona aproximació al segui-ment i l’avaluació, més orientada a la rendició de comptes i la transparència, que busca de-

1.3. L’aprenentatge com a objectiu dels processos de seguiment i avaluació

Seguir i avaluar per aprendre es conver-teix en un repte que les ONGD han d’as-sumir. Aquest repte, malgrat les dificultats que comporta de vegades conjugar rendició de comptes i aprenentatge, és més fàcilment assumible en el nou entorn que es dibuixa. Es tracta d’un entorn que fa de l’anàlisi crítica de les intervencions una obligació gairebé in-evitable i en el qual les ongd han d’afrontar un increment significatiu de la demanda de transparència; i que, a més, obliga les ongd a reexaminar les seves relacions de parte-nariat i redefinir els equilibris de poder dins d’aquestes i els planteja la necessitat d’assu-mir nous rols que han d’aprendre. És un en-torn que, en definitiva, ofereix una oportuni-tat clara, un estímul evident per treballar en la superació d’alguns dels principals frens per a l’aprenentatge organitzatiu.

Aquest aprenentatge, com hem vist, no és encara, en la majoria dels casos, l’objectiu prioritari dels processos de seguiment i ava-luació. A més, molt sovint no es disposa dels mitjans suficients, ni aquests han estat esta-blerts, perquè es converteixi en una realitat. És evident que els canvis en l’entorn fan pres-sió cap a una nova cultura de seguiment i ava-luació. Aquesta situació, a la qual les ongd espanyoles no són alienes, ha de conduir en

112

diverses d’aproximar-se al seguiment i l’ava-luació, en moltes de les ongd espanyoles. Afortunadament, cada vegada són més les or-ganitzacions que s’encaminen cap a una visió participativa del seguiment i l’avaluació, carac-terística fonamental del que podem considerar una tercera o fins i tot una quarta generació d’aquests processos. Però encara continua sent majoritària una aproximació estrictament quantitativa, orientada a la comprovació i la rendició de comptes sobre els resultats, que, convertida en eix orientador bàsic dels proces-sos de seguiment i avaluació, és, com ja hem vist, una seriosa barrera per a la construcció d’organitzacions que aprenguin.

És evident que l’aprenentatge a les ongd no és un procés que es generi espontània-ment. Com hem analitzat en aquest apartat, hi ha molts obstacles, alguns d’atribuïbles a l’entorn i d’altres a les mateixes organitzaci-ons, que frenen aquest procés. no hi ha cap recepta màgica per superar-los, però sí que podem trobar alguns elements —en aquest apartat ja hem anat aportant algunes pistes en aquest sentit— que, adaptats a la realitat de cada organització, poden ajudar a vèncer-los i contribuir a construir una organització que aprengui. L’aprenentatge requereix, doncs, la creació d’un entorn institucional apropiat i la dotació dels mecanismes i recursos adequats perquè es produeixi.

En primer lloc, és fonamental que les ongd facin de l’aprenentatge un dels seus objec-

mostrar l’impacte dels projectes i programes executats. Es tracta d’una aproximació també fonamentada, bàsicament, en els elements quantitatius i objectius, però que intenta fer un pas més enllà, fer el salt des de la valoració de resultats fins a la comprovació dels impactes: un salt d’una gran complexitat i en què són moltes les organitzacions que han invertit im-portants esforços, no sempre reeixits.

En part com a resultat de la constatació d’aquesta complexitat i de la necessitat de disposar de sistemes de seguiment i avaluació que generin conclusions i informació més pràc-tiques i aplicables, sorgeix en els últims anys una nova generació o aproximació a aquests processos, que se centra, bàsicament, en l’anàlisi conjunta de resultats, l’impacte, els processos i la utilitat, i en la qual pren una im-portància clau la participació dels stakeholders en la realització de tot el procés de seguiment i avaluació. En aquest cas, no es tracta tant d’aconseguir dades objectives de fonts con-trastables, com d’aproximar-se de manera par-ticipativa als projectes i programes per poder comprendre i aprendre dels processos seguits i els resultats i impactes obtinguts, amb la fina-litat de construir, conjuntament, conclusions i recomanacions acceptades per tots els stake-holders i aplicables a la millora dels programes i de la mateixa organització.

no es tracta de tres models purs de seguiment i avaluació. Podem trobar elements d’aques-tes tres generacions, d’aquestes tres formes

113

te (segons el tipus de treballador, el tipus de beneficiaris, etc.) i crear mecanismes perquè tots els stakeholders puguin aportar la seva opinió. En alguns casos, potser cal trencar les relacions de poder desiguals que generen de-terminades estructures organitzatives en les quals la presa de decisions, especialment pel que fa al finançament, està summament cen-tralitzada. no volem dir amb això que la cons-trucció d’organitzacions descentralitzades si-gui la millor opció. La clau rau a aconseguir un entorn institucional que permeti, amb in-dependència del tipus d’estructura organitza-tiva i el nivell de decisió, establir relacions de confiança en les quals la visió de la seu cen-tral o de les ongd del nord per part de les ongd del Sud sigui més de soci que de do-nant. Aquest canvi de percepció és necessari perquè la construcció de l’aprenentatge sigui una realitat, tant al nord com al Sud. Es tracta de passar d’una relació fonamentada exclu-sivament en el finançament d’un projecte o programa a una relació construïda amb una estratègia d’intervenció, la qual cosa signifi-ca una visió compartida a llarg termini i que sens dubte accepta i requereix una anàlisi i una revisió crítica continuades per aprendre’n i millorar-ne l’execució.

Però perquè aquesta cultura d’aprenentatge doni els seus fruits, és evident que les ongd han d’establir mecanismes que permetin recopilar informació, mesurar els resultats i impactes, debatre’ls i, en definitiva, generar coneixement.

tius principals, conscients que si no aprenem del que fem no serem capaços de transfor-mar la realitat que ens envolta. L’aprenentat-ge i, com a instruments fonamentals perquè es produeixi, el seguiment i l’avaluació han de configurar-se com a elements estratègics clau de les organitzacions de desenvolupa-ment. Sorgeix en aquest punt la necessitat de dedicar recursos (sobretot temps, però també diners) a la seva consecució i treballar per construir capacitat en aquest àmbit. La formació del personal, l’assignació de respon-sabilitats a nivell institucional i la reducció de càrrega de treball associada al personal impli-cat són, doncs, tasques necessàries, però no suficients.

Així, més enllà de l’àmbit formal, és indis-pensable construir una cultura que fomenti l’aprenentatge. En aquest sentit, cal que el seguiment i l’avaluació del que es fa sigui una part integrant de la cultura de treball. Cal su-perar la cultura activista i de l’èxit necessari. Els membres de l’organització han de sentir que estan en una organització en la qual l’er-ror és acceptat i es permet qüestionar els pro-cessos, discutir sobre el que està planificat i dialogar sobre les alternatives correctores.

Es tracta de construir una cultura en què tots els actors implicats (socis, contraparts, treba-lladors sobre el terreny, beneficiaris) puguin aportar la seva visió. Per aconseguir-ho, pri-mer de tot és important detectar els diferents nivells de poder dins del programa o projec-

114

des d’aquesta perspectiva és important que les ongd desenvolupin sistemes propis d’administració de la informació, que impli-quin la disposició de mecanismes d’emma-gatzematge de la informació compartits, així com l’existència de sistemes estandarditzats i processos de selecció que permetin decidir quina informació cal emmagatzemar, amb quina finalitat i qui hi tindrà accés.

Però és evident que l’existència de sistemes d’administració de la informació no és sufici-ent. En alguns casos, l’obsessió per construir aquests sistemes sobre la base de complexos i costosos sistemes informàtics pot arribar a tenir efectes contraris als desitjats. Així mateix, l’ús d’eines que permetin simplificar aquesta informació i processar-la per a la presa de deci-sions organitzatives, com és el cas del quadre de comandament, per exemple, si no ha estat pactat i dialogat, pot generar tensions organit-zatives molt significatives i crear un rebuig que dificulti la construcció de llaços de confiança. Per això és clau que les organitzacions tinguin clar que, si bé l’existència d’instruments i pro-cessos que permetin gestionar la informació és fonamental, més ho és assegurar-se que aquests instruments i processos tinguin la le-gitimitat institucional suficient. des d’aquesta perspectiva, és primordial que els principals stakeholders de l’organització es facin partíci-pis del seu disseny i del seu ús, i que es pacti el seu rol en la futura gestió d’aquests. La par-ticipació es converteix en un element clau de l’aprenentatge.

Com es desenvolupa i se sosté una cultura que doni suport a l’aprenentatge

• L’aprenentatge és una activitat legítima. En altres paraules, es concep com una part integral de les responsabilitats de treball de cada indivi-du, i no com una cosa que s’ha de fer durant el temps propi de cada individu.

• L’aprenentatge s’estimula i s’hi dóna suport. Els administradors integren en la seva respon-sabilitat assegurar que als seus col.legues se’ls doni l’incentiu personal per contribuir a desen-volupar la pràctica i la política de la seva orga-nització.

• A l’aprenentatge se li donen recursos adequats. Es reconeix que l’aprenentatge pren temps i també pot necessitar altres recursos, incloent-hi el finançament.

• L’aprenentatge es recompensa. Els meca-nismes per recompensar, valorar i reconèixer l’aprenentatge organitzatiu actuen com un incentiu significatiu perquè el personal inver-teixi temps i recursos a aprendre, tant a nivell organitzatiu com individual. Això pot incloure: inserir responsabilitats d’aprenentatge en la descripció dels llocs de treball; reconèixer la contribució al llarg de l’any i no tan sols en les avaluacions d’exercici anuals; assegurar que l’aprenentatge es veu com una manera de mi-llorar els prospectes professionals.

• L’organització inclou com a meta superar les seves barreres internes envers l’aprenentatge. S’han de dissenyar i aclarir a tots els membres de l’organització les estratègies per enderrocar les barreres internes posades a l’aprenentatge.

Bruce Britton, «Aprendizaje organizacional en ongd: Creando el motivo, los medios y la oportunidad», Do-cumento Praxis, núm. 3, març del 2005.

115

Així, els sistemes de seguiment i avaluació, com a processos dissenyats per recopilar i generar informació i coneixement, no poden obviar aquest element. Si volem construir sis-temes de seguiment i avaluació que realment contribueixin a l’aprenentatge organitzatiu, hem de ser capaços d’implicar els diferents stakeholders en la fase clau del procés: la ge-neració de preguntes/ítems de seguiment i avaluació, el disseny dels mecanismes de re-copilació de la informació i la discussió de les conclusions i recomanacions. no es tracta de dissenyar processos complexos, sinó d’asse-gurar, mitjançant l’establiment de petits me-canismes, que la veu dels diferents actors és escoltada.

Teòricament, avançar en la construcció de sistemes de seguiment i avaluació orientats a l’aprenentatge sembla senzill. Però, com qualsevol canvi cultural, requereix importants dosis de paciència i un lideratge clar.

És evident, a més, que, com moltes ongd apunten, no és un tema que només afecti les ongd. Els donants, especialment els pú-blics, tenen un paper clau en aquest punt. de l’orientació de les seves convocatòries i les seves demandes dependrà també en gran part l’evolució d’un sector en plena transfor-mació i que requereix, inevitablement, unes organitzacions que aprenguin.

Seguiment i avaluació esdevenen instru-ments fonamentals, encara que no únics, per

Cinc maneres d’encarar el repte del partenariat segons el taller de BOND/exchange «Aprenent sobre el partenariat Nord-Sud»

1. Els objectius del partenariat han de ser nego-ciats i explicitats. El procés de negociació és important perquè és a partir d’aquest que es comença a generar la confiança. És important que cada copartícep expliciti què necessita i què aporta a l’associació.

2. Les expectatives, els drets i les responsabilitats de cada copartícep han de definir-se. Més enllà dels principis generals del partenariat, és important es-tablir els objectius de cada col.laboració acordada i les responsabilitats i aportacions de cadascun.

3. Les demandes d’informació i de rendició de comptes han de ser clarament expressades des de l’inici per ambdues parts, així com la respon-sabilitat i els processos de recopilació i difusió de la informació. En aquest sentit, és important que parlem de rendició de comptes i difusió d’informació en ambdós sentits. Es tracta d’un element que pot contribuir a trencar el domini del proveïdor de fons, en aquest cas l’ong del nord.

4. Els partenariats han de plantejar-se a llarg termini i no vinculats exclusivament a un sol programa o projecte. Això implica dedicar temps i recursos a la negociació i la construcció d’una visió compartida.

5. Els partenariats haurien d’ampliar la seva visió cap a una percepció més àmplia de xarxes i co-munitats de pràctiques. Els canvis en l’entorn impliquen també canvis en la percepció de par-tenariat tradicional. Més que una relació dual, sorgeix cada vegada més una relació amb múl-tiples agents implicats, en la qual guanya pes la concepció de xarxa o comunitat de pràctica. La lògica de projecte perd pes davant de la lògica d’aprenentatge compartit i generació conjunta d’oportunitats amb una fi comuna.

116

Tal com hem indicat anteriorment, quan par-lem de què mesurem hi ha dos aspectes fona-mentals: el mesurament de l’impacte i el me-surament de les variables de caràcter intangi-ble. Es tracta de qüestions derivades del nou entorn de la cooperació al desenvolupament que hem analitzat al principi d’aquest llibre. Com dèiem, cada vegada té més importància l’enfortiment dels actors locals i crear les con-dicions per a un desenvolupament endogen. d’altra banda, en molts casos, les ongd del nord han canviat el focus d’atenció de lloc i s’han centrat en les tasques d’educació al desenvolupament, sensibilització i advocacy als seus propis països. En tots aquests ca-sos, serà igualment imprescindible poder de-mostrar i mesurar els resultats que es vagin aconseguint, si bé és evident que el mesura-ment del canvi i dels processos i les variables intangibles es presentarà com una qüestió molt més complexa, a la qual s’intenta plantar cara, d’una banda, promovent un enfocament participatiu en el seguiment i l’avaluació que permeti recollir les opinions i els interessos dels diferents actors participants, per poder tenir una visió més real i ajustada dels canvis que es van produint, i, d’altra banda, amb me-

aconseguir aquest objectiu; un objectiu que si volem que beneficiï realment la intervenció i tots els seus actors, ha d’anar acompanyat d’una reflexió clau que les ongd espanyoles no han d’oblidar que han d’afrontar. Es tracta d’una reflexió al voltant de dues preguntes: què volem aprendre?, i per a qui?40 I aques-tes preguntes determinaran què seguirem i avaluarem i com ho farem. En l’apartat que segueix analitzarem tots aquests temes.

2. Què, per a qui i com seguim i avaluem

En aquest apartat s’aborda què se segueix i s’avalua, per a qui es duen a terme aques-tes tasques i com. Són qüestions íntimament lligades entre elles, i és difícil tractar-les per separat. La pregunta de per a qui avaluem de-terminarà en molts casos els procediments que s’utilitzaran. Què mesurem també es-tarà determinat per les qüestions de per a què i per a qui han de servir els resultats i les descobertes de l’avaluació, i això, al seu torn, determinarà quins mètodes són els més apropiats.

40 Un dels grans reptes que sorgeixen en el nou entorn d’aprenentatge és que en darrer terme no beneficiï exclusivament les ongd del nord. En dissenyar processos d’aprenentatge cal que es tingui en compte com se’n beneficien les contra-parts, les comunitats i els governs locals.

Què seguim i avaluem: (eficiència i eficàcia versus impacte / mesurament d’intangibles)

Com: mètodes i enfocaments de quarta generació

Per a qui: enfocament democràtic de l’avaluació

117

Malgrat això, moltes variables, com les per-cepcions o les creences, no podran ser redu-ïdes a nombres, i la seva comprensió exigirà necessàriament la referència al context local on es desenvolupin.

Els mètodes qualitatius ens ajudaran a com-plementar la visió aportada pels mètodes quantitatius, incloent-hi tècniques de recol.lecció i anàlisi de dades de caràcter semies-tructurat, com ara entrevistes obertes, grups de discussió, rànquing de prioritats, etc., de grups seleccionats no aleatòriament. Aques-tes tècniques (que s’han desenvolupat àm-pliament en noves metodologies que expli-carem més endavant) permetran una anàlisi més profunda dels processos socials, polítics i econòmics, en que serà crucial veure a qui es dóna veu, de manera que la participació de diferents perspectives i grups serà fona-mental. Els mètodes qualitatius, no obstant això, també presenten limitacions: les mos-tres solen ser petites i no escollides aleatòria-ment, i és més difícil extrapolar les descober-tes qualitatives a una població més àmplia. A més, les dades recollides d’aquesta manera requereixen la interpretació de l’investigador, i això fa que la reflexió sigui sempre molt més subjectiva. En tots els casos, les limitacions de cada enfocament es podran mitigar a tra-vés de la triangulació, un element que resulta fonamental.

todologies i instruments nous, englobats en els anomenats «enfocaments d’avaluació de quarta generació».

Així doncs, en tots els casos, la manera de fer aquest seguiment i aquesta avaluació serà similar. En primer lloc, caldrà tenir en comp-te que no hi ha una metodologia estàndard, aplicable a qualsevol entorn i per a qualsevol projecte o programa. L’atenció al context i a les especificitats locals és un punt primordial.

A més, en tots els casos serà fonamental el diagnòstic inicial de partida, haver posat des del principi les bases d’un bon seguiment, que ha de permetre posteriorment portar a terme l’avaluació dels avenços.

d’altra banda, i atesa la complexitat dels pro-cessos que es pretenem mesurar, en els quals no hi ha punt final ni un producte es-pecífic quantificable, serà sempre necessari utilitzar un conjunt d’enfocaments per a la re-collida de la informació i la seva anàlisi, que han d’incloure els diferents aspectes del pro-cés, des dels més quantitatius fins als més qualitatius.

Els mètodes quantitatius es traduiran en qüestionaris estandarditzats que es donaran a determinats individus o famílies, identificats usualment de manera aleatòria. Els resultats d’aquestes enquestes permetran tenir da-des objectives i imparcials, representatives i generalitzables a una població més àmplia.

118

ongd espanyoles és l’Enfocament del Marc Lògic, a través de la definició precisa d’objec-tius, resultats, activitats i indicadors mesura-bles.

La mesura de l’impacte, però, es presenta com el gran deute pendent de les ongd espanyo-les. El discurs teòric al voltant d’aquesta qües-tió no ha parat d’augmentar i rep una atenció creixent que, tanmateix, encara no s’ha traduït en una aplicació sistemàtica. L’impacte, que pot ser tant positiu com negatiu, descriu i quan-

2.1. Què seguim i avaluem

2.1.1. Eficàcia i eficiència versus impacte: mesurar el canvi i la reducció de la pobresa

En un entorn de competència creixent entre les ongd, cada vegada és més forta la pres-sió per proporcionar proves empíriques dels resultats dels projectes o programes de coo-peració al desenvolupament. Els donants són cada vegada més exigents en aquest sentit, i el fet que hagi augmentat el volum destinat a l’ajuda oficial al desenvolupament en els úl-tims anys demana un control de qualitat més gran, cosa que s’ha vist reforçada amb la re-cent signatura de la declaració de París. Fonamentalment, tal com mostra el breu di-agnòstic del capítol 2, les ONGD espanyo-les mesuren l’eficiència i l’eficàcia de les seves accions i, en un grau molt menor, l’impacte que tenen amb aquestes acci-ons. L’eficàcia, com que és el criteri més fà-cilment avaluable, és el que rep més atenció; hi contribueix el fet que l’instrument més ge-neralitzat per al seguiment i l’avaluació a les




Canvis que s’han de mesurar en una avaluació d’impacte, segons Casley i Kumar (1990)

Casley i Kumar el 1990 indicaven unes quantes àrees que cal tenir en compte per a l’avaluació d’efectes:• Canvis observats en els ingressos i en els nivells

de vida com a repercussió directa del projecte (con-sums, nutrició, habitatge, educació, salut, serveis comunitaris, etc.).

• Canvis en la participació i l’apoderament del grup ob-jectiu (aportacions, suports i presa de decisions en els diferents moments de la planificació, execució i avaluació del projecte; organitzacions comunitàries abans i després, estructura interna, capacitat de li-deratge, d’interlocució, independència de l’ajuda i sostenibilitat, etc.).

• Canvis respecte de la situació i les funcions de les dones (repercussions en l’equitat de gènere, parti-cipació, apoderament, rols, accés al projecte i a la presa de decisions, etc.).

• Canvis al voltant del medi ambient (impactes en l’ecosistema, productivitat de la terra, accés a recur-sos naturals, protecció de minories ètniques, malal-ties relacionades amb l’hàbitat, etc.).

119

pacte del projecte per a diferents poblacions. Sobretot, l’avaluació d’impacte ens permet aprendre quins projectes funcionen en quins contextos i usar aquestes lliçons per informar les generacions següents sobre polítiques, no tan sols al país d’interès, sinó també en altres països.» 41

És, lògicament, el criteri més difícil de mesu-rar, ja que suposa recollir els canvis que ha implicat l’acció a molts àmbits: econòmics, tècnics, socials, culturals, polítics, ecològics, etc. Aquesta avaluació es fa uns quants anys després que s’hagi acabat la implementació del projecte, i és la que posa més en evidència la sustentabilitat de les accions executades i l’apropiació per part de les poblacions locals.

Un problema central és que la identificació de quins canvis són significatius o sostenibles és una mica subjectiva, com també l’atribució d’aquests canvis a un programa o una acció concrets. de fet, aquestes qüestions depen-dran tant de qui observa i analitza aquests canvis com del context en què s’inscriuen. Per aquest motiu, en les avaluacions d’impac-te és imprescindible un enfocament participa-tiu, tot i que també serà complexa la definició de la participació en aquest àmbit.

Aquest no és l’única dificultat a l’hora de fer avaluacions d’impacte. Tal com posava de

41 diversos autors, «La evaluación de impacto y el ciclo de proyecto», maig del 2006.

tifica els canvis o efectes (directes i indirectes, previstos i imprevistos, desitjats i indesitjats) introduïts en la vida dels beneficiaris per una determinada acció. Tal com destaca oxfam gB, es tracta d’analitzar sistemàticament els canvis durables o significatius en la vida de les persones, produïts per una determinada acció o una sèrie d’accions.

L’avaluació d’impacte permet a les ongd, a més de dur a terme un control financer i comptable, aprendre sobre les seves acci-ons, detectar pràctiques destacades que per-metin reproduir els projectes i orientar l’acció futura, i també oferir una visió global sobre la qualitat i la coherència de l’actuació de l’or-ganització. Tal com remarquen investigadors associats al Banc Mundial, «Una bona avalu-ació d’impacte proporciona les bases per a una sòlida formulació de polítiques. Ens ajuda a entendre si el projecte ha tingut impacte o no, la magnitud d’aquest impacte i qui se n’ha beneficiat (o no). A més de proporcionar una evidència ferma que es pot utilitzar per sos-pesar i justificar prioritats de polítiques, l’ava-luació d’impacte també es pot fer servir com a eina de gestió per resultats. A mesura que l’avaluació avança juntament amb el projecte, es pot utilitzar per verificar característiques del projecte, modificar el disseny i millorar-ne l’efectivitat en el temps. Entre altres co-ses, les avaluacions d’impacte poden ajudar els qui dissenyen les polítiques a examinar l’efecte d’un programa pilot, comparar dife-rents formes de prestacions i examinar l’im-

120

decisions sobre el rumb de les accions que s’emprendran. Alguns fins i tot es pregun-ten per què s’ha d’analitzar una acció quan ja no es pot corregir. A tot això cal sumar-hi una certa resistència al canvi predominant al sector.

• Però a l’hora de fer avaluacions d’impacte les principals dificultats són metodològi-ques:

manifest el diagnòstic del capítol 2, a Espa-nya encara es duen a terme poques avaluaci-ons d’impacte, per motius diversos:• En molts casos, prevalen les avaluacions de

caràcter econòmic: la quantitat de recursos (tant de temps com econòmics) necessaris per a la seva realització i, sobretot, la dificul-tat d’aconseguir recursos dels donants des-tinats específicament a aquesta fi per part de les ongd. En aquest sentit, cal destacar que, si en molts casos les avaluacions finals es conceben separadament de la resta del projecte i sense estar integrades al seu ci-cle de vida, amb les avaluacions d’impacte, atès que es desenvolupen a diversos anys vista de l’acabament de l’actuació, el proble-ma encara és més gran. A Espanya no hi ha fons, ni públics ni privats, específics per a la realització d’avaluacions d’impacte per part de les ongd, cosa que els donants haurien de començar a considerar seriosament. Les limitacions pressupostàries influeixen en el nombre d’entrevistes que es poden fer i els mètodes que es poden utilitzar per a la recopilació i l’anàlisi de la informació, com també influeixen en l’experiència professio-nal de l’equip avaluador.

• d’altra banda, també cal indicar que, en molts casos, l’avaluació d’impacte es consi-dera principalment com a part d’una agenda imposada per les organitzacions donants o, pejorativament, com un exercici més aviat acadèmic. d’una manera molt generalitza-da, no es percep com un exercici necessari per a l’aprenentatge i la posterior presa de

Tres enfocaments a l’hora de fer avaluacions d’impacte identificats per Roche:

Un primer enfocament relacionat amb la clarificació i l’especificació d’objectius i indicadors del projecte i la mesura de fins a quin grau s’han assolit. En aquest ti-pus d’enfocament, poden comparar-se grups de con-trol fora del projecte amb els que n’han format part.

Un segon enfocament que analitza des d’una pers-pectiva més àmplia els canvis potencials que es poden haver produït com a resultat de l’acció. gene-ralment, implica consultar als diferents stakeholders per identificar els canvis més importants i com van succeir, per a la qual cosa es pot utilitzar una llista de possibles àrees o dimensions de canvi.

El tercer enfocament explora els canvis que han suc-ceït i intenta determinar-ne la importància, així com les causes, entre les quals hi ha l’acció i els canvis que provoca, que s’han d’intentar situar en un context més ampli.

L’ideal és combinar els tres enfocaments sempre que sigui possible.

Chris Roche, «Impact assessment: seeing the wood and the trees».

122

Foment del desenvoupament socioeconòmic sostenible potenciant les capacitats de comunitats transfrontereres de la regió binacional de Río San Juan. Fundación Amigos de la Tierra. Costa Rica - nicaragua 2008

123

Tal com indica el Grup d’Avaluació Independent del Banc Mundial, una avaluació d’impacte de qualitat:

• Ha d’elaborar una sèrie d’indicadors que puguin definir i quantificar d’una manera vàlida i fiable les entrades, els processos d’execució, els productes, els resultats esperats i els impactes del projecte.

• Ha d’establir una hipòtesi lògicament vàlida que demostri de manera convincent que els canvis observats en els indicadors de resultats, arran del projecte, es deuen realment al projecte i no a al-tres factors que li són aliens, com les millores en l’economia local o els programes organitzats per altres organismes.

• Ha de determinar, de conformitat amb procedi-ments estadístics acceptats, si un projecte ha con-tribuït als impactes esperats i ha ajudat a una pro-porció significativa de la població beneficiària.

El repte per a les organitzacions de desenvolupa-ment consistirà, per tant, a decidir si és possible fer una avaluació d’impacte de qualitat amb les limitacions existents en la pràctica, i escollir el disseny més sòlid possible en funció d’una sèrie concreta de restriccions de pressupost, temps i informació.

Banc Mundial, grupo de Evaluación Independiente, «Realización de evaluaciones de impacto de calidad con limitaciones de presupuesto, tiempo e informa-ción». Washington dC, 2006

més àmplia els múltiples factors de l’en-torn. Aquests corrents es basen en les eines de RRA (Rapid Rural Appraisal) i PRA (Participatory Rural Appraisal), que explicarem en el proper apartat. En qual-

En primer lloc, no existeix un concepte precís i unànime del que implica la valo-ració de l’impacte i sovint es confon amb l’avaluació dels objectius d’un programa o projecte o amb l’auditoria, que analitza l’ús dels recursos amb relació a les acti-vitats que es desenvoluparan. Sense una definició precisa de l’impacte que per-meti establir indicadors adequats, no es pot dura a terme cap mesurament.

d’altra banda, és evident que és més difícil recollir informació sobre l’impacte que no pas sobre la realització d’activi-tats o resultats. Les eines i metodologies d’avaluació sovint estan poc desenvolu-pades, perquè van ser concebudes pri-mordialment per als processos d’identi-ficació, diagnòstic i planificació, la qual cosa comporta en molts casos una manca de consistència entre les dades recollides i les conclusions de l’anàlisi d’aquestes dades. En aquest sentit, cal destacar que la qualitat de la informa-ció i la seva credibilitat dependran dels mètodes que s’hagin utilitzat, que han de ser adequats segons el tipus de pre-guntes que es volen respondre i segons el context i l’organització local. Atesa la complexitat d’aquest tema, els en-focaments de causa i efecte seran poc adequats. Tal com hem assenyalat, els corrents més participatius (Feuerstein, 1986; Chambers, 1991) i d’apoderament (Fetterman, 1996) es presenten com els més adequats per recollir d’una manera

124

projectes i/o sectors específics http://web.worldbank.org/WBSITE/EXTERnAL/To-PICS/EXTPoVERTY/EXTISPMA/0,,menuPK:384336~pagePK:149018~piPK:149093~theSitePK:384329,00.html

• Banc Mundial (2006): «Realización de eva-luaciones de impacto de calidad con limita-ciones de presupuesto, tiempo e informa-ción». grupo de Evaluación Independente, Washington dC. http://www.worldbank.org/ieg/ecd/conduct_qual_impact_eval.html

• Hugo navarro: «Manual per a l’avaluació d’impacte de projectes i programes de lluita contra la pobresa», Instituto Latinoa-mericano y del Caribe de Planificación Eco-nómica y Social (ILPES), Santiago de Xile, juny del 2005. www.impactalliance.org/ev_en.php?Id=11073_201&Id2=do_ToPIC

• Lara gonzález: «La evaluación ex-post o de impacto. Un reto para la gestión de proyec-tos de cooperación internacional al desar-rollo», Cuaderno de trabajo de Hegoa núm. 29, setembre del 2000. http://old.hegoa.efa-ber.net/hegoa/publ/list?type_id=1

• diversos autors: «La evaluación de impac-to y el ciclo de proyecto», maig del 2006.http://siteresources.worldbank.org/InTISP-MA/Resources/383704-1146752240884/doing_ie_series_01_spanish.pdf

sevol cas, la clau serà fer la combinació adequada d’eines, ja que, utilitzades per separat, cap d’elles no resoldrà el proble-ma de l’atribució, que veurem tot seguit.

Efectivament, el problema de l’atribució és un dels principals a l’hora d’avaluar l’impacte. d’una banda, malgrat la pres-sió que reben les organitzacions de de-senvolupament per demostrar els seus resultats, és evident que els canvis acon-seguits són difícilment aplicables a l’ac-tuació d’un sol actor. A això, cal afegir-hi que, en el nou context de l’ajuda i amb l’èmfasi posat sobre l’enfortiment dels actors locals, l’impacte de l’ongd del nord es dilueix en l’actuació dels actors locals. A més, en molts casos és molt di-fícil determinar la influència dels factors externs i, per tant, la valoració dels can-vis que són generats exclusivament per la intervenció.

Finalment, cal destacar que, per fer una avaluació d’impacte correcta, és neces-sari que hagi estat prevista des de l’inici i s’hagi fet un bon diagnòstic de partida, que ha de permetre establir comparaci-ons, així com un seguiment adequat que aporti dades per a l’avaluació ex-post.

Si voleu més informació:

• Recursos del Banc Mundial per a l’avalua-ció d’impacte: s’hi inclouen guies i manuals per a l’avaluació d’impacte de tipologia de

125

RECURSOS METODOLóGICOS

breve guía para el diseño y la implementación de una evaluación de impacto

d’informació, definir els indicadors de resul-tats i efectes i crear una estratègia d’avalu-ació sòlida que proporcioni respostes a les preguntes plantejades.

Qüestions que cal tenir en compte a l’hora d’establir els objectius de les avaluacions d’impacte: - no plantejar objectius que siguin massa am-

plis, difícilment avaluables.- Establir una hipòtesi lògicament vàlida que

demostri de manera convincent que els can-vis observats en els indicadors de resultats arran del projecte es deuen realment al pro-jecte i no a altres factors que li són aliens, com les millores en l’economia local o pro-grames organitzats per altres organismes.

- determinar, de conformitat amb procedi-ments estadístics acceptats, si un projecte ha contribuït als impactes esperats i ha aju-dat a una proporció significativa de la pobla-ció beneficiària.

- donar prou informació sobre l’entorn i el context per ajudar a determinar quan les mi-llors pràctiques i lliçons apreses de l’avalua-ció són aplicables o generalitzables a altres situacions.

- Avaluar la distribució dels beneficis entre els diferents sectors de la població beneficiària.

- Identificar els factors que influeixen en la magnitud i la distribució dels impactes.

1. Determinar si és convenient o no dur-la a termeEl primer pas és determinar si es requereix o no una avaluació d’impacte. Atesos el cost i la complexitat que implica, se n’han d’exa-minar els costos i els beneficis i considerar si seria més adequat algun altre mètode per avaluar el resultat d’un determinat projecte o programa.

En aquest sentit, cal destacar que és més fac-tible mobilitzar l’esforç i els recursos addicio-nals necessaris per fer l’avaluació d’impacte quan el projecte és innovador, es pot repetir, implica importants assignacions de recursos i comprèn intervencions ben definides. També s’ha de prioritzar l’avaluació d’impacte si en el marc del projecte en qüestió es llança un nou enfocament, com un programa pilot que després es pot estendre basant-se en els re-sultats de l’avaluació.

2. Determinar els objectius de l’avaluació d’impacteUna vegada s’ha determinat que l’avaluació d’impacte és adequada i està justificada, contribuiran enormement al seu èxit l’esta-bliment per endavant d’uns objectius clars i l’acord sobre els punts bàsics en què se cen-trarà aquesta avaluació. Els objectius clars són essencials per identificar les necessitats

126

- Avaluar la sostenibilitat dels impactes al llarg del temps.

- Analitzar l’eficiència: es justifiquen les des-peses del programa atès l’impacte assolit?

- Analitzar les possibles millores en el progra-ma que n’haurien augmentat l’impacte.

- Tenir en compte la multidimensionalitat de la pobresa: avaluar tots els aspectes relacionats amb la pobresa, no únicament l’econòmic.

3. examinar La Disponibilitat De DadesUn cop definits els objectius de l’avaluació, la qüestió clau és l’accés a les dades i la in-formació rellevants per portar-la a terme. En aquest sentit, el millor és haver previst, des de l’etapa de disseny del projecte o progra-ma, la inclusió d’indicadors que donin infor-mació relativa a l’impacte. d’aquesta manera es disposarà d’informació primària, directa-ment relacionada amb el programa o projecte

que s’ha d’avaluar. En cas de no tenir aques-ta informació, no hi haurà més remei que re-córrer a dades secundàries, de caràcter molt més general (llibres, revistes, informes, etc.).

Algunes de les organitzacions que ofereixen es-tudis i informació rellevants per al desenvolupa-ment d’avaluacions d’impacte:

• Institute of Development Studies - www.ids.ac.uk• The Development Gateway- www.developmentga-

teway.org• Global Development Network - www.gdnet.org• United Nations Evaluation Forum - www.uneval.org• OECD-DAC Evaluation Abstracts Inventory - www.

dac-evaluations-cad.org• Impact Evaluation Database World Bank - http://

www1.worldbank.org/prem/poverty/ie/db/evalua-tiondb.cfm

Avantatges de les dades secundàries

Les dades secundàries poden ser una manera útil de reduir despeses i estalviar temps, i quan s’empren dissenys de grups de beneficiaris i de comparació després de la intervenció, solen ser l’única manera de reconstruir condicions de re-ferència del grup de beneficiaris i del grup de comparació abans de l’inici del projecte. En aquest disseny, i en gairebé tots els dissenys, es poden utilitzar per enfortir l’estimació hipotètica de quina hauria estat la situació de la població del projecte si no s’hagués dut a terme.

Alguns dels tipus més habituals de dades secun-dàries són els següents: • Censos nacionals• Enquestes generals de llars, com l’Estudi de Me-

surament dels nivells de Vida (EMnV)• Enquestes especialitzades, com les enquestes

demogràfiques i de salut • Dades administratives recopilades per departa-

ments ministerials i altres organismes públics (matrícula escolar, ús de centres de salut, preus de mercat de la producció agrícola, etc.)

• Estudis realitzats per organismes donants, orga-nitzacions no governamentals i universitats

• Dades administratives de l’organisme o ministeri encarregat del projecte

• Mitjans de comunicació (premsa, televisió, do-cumentals, etc.). Poden ser útils, entre altres coses, per comprendre el context econòmic i polític local de cada lloc on s’executa el projecte.

127

A més, cal tenir en compte que no hi ha un enfocament estàndard per conduir una ava-luació d’impacte. Cada avaluació ha de ser dis-senyada específicament per al projecte, el país, el context institucional i els actors involucrats.

En qualsevol cas, però, cal tenir en compte que les preguntes que ha de respondre l’ava-luació d’impacte no es poden mesurar sim-plement a través de l’avaluació del resultat d’un projecte, programa, etc. Poden haver-hi altres factors o successos que estiguin corre-lacionats amb els resultats, sense ser causats pel projecte. Per assegurar un rigor metodo-lògic, una avaluació d’impacte ha d’estimar l’escenari contrafactual o simulat alternatiu, és a dir, el que hauria succeït si el projecte no s’hagués dut a terme mai o el que hau-ria succeït normalment. Moltes avaluacions d’impacte fracassen perquè no són capaces de demostrar que els canvis produïts siguin conseqüència del programa o projecte.

Per tant, simplement estimar l’impacte a tra-vés d’uns indicadors generals sobre el nivell econòmic dels beneficiaris abans i després del programa o projecte no és suficient, ja que al mateix temps poden haver passat moltes al-tres coses que hagin influït en aquests canvis. Per determinar aquest escenari contrafactu-al, caldrà separar l’efecte de les intervencions d’altres factors; una tasca una mica comple-xa. Això s’aconsegueix amb l’ajuda de grups de comparació o de control (persones que

4. Dissenyar l’avaluació: metodologia i recollida de dades

Tal com assenyala el grup d’Avaluació Inde-pendent del Banc Mundial, hi ha tres grups de limitacions que determinaran l’elecció dels mètodes d’avaluació més adequats: 1) Limitacions de pressupost: Les limitaci-ons pressupostàries influeixen en el nombre d’entrevistes que es poden dur a terme, la capacitat de combinar la recopilació i l’anàlisi d’aquestes dades qualitatives i quantitatives, el tipus d’experiència professional de l’equip d’investigació i l’anàlisi que es pot dur a terme.2) Limitacions de temps: Les limitacions tem-porals tenen a veure amb el moment en què s’inicia i acaba l’avaluació, el temps que po-den passar els investigadors sobre el terreny i el temps disponible per rebre informació de les parts interessades.3) Limitacions d’informació: Quan es fan noves enquestes, les limitacions de caràcter informa-tiu influeixen en la capacitat d’obtenir dades d’un grup de comparació adequat i informació de referència sobre la població de beneficiaris, o de reunir informació de caràcter confiden-cial i entrevistar grups de difícil accés. Quan l’avaluació es basa en dades secundàries o quan les dades procedeixen d’estudis fets per altres organismes (estudis concatenats o sin-cronitzats), les limitacions d’informació poden disminuir la compatibilitat de la cobertura o la cronologia de la mostra o la possibilitat que les dades cobreixin les variables necessàries o les defineixin adequadament.

128

teixa localitat, no hagin participat en el pro-grama. També aquí poden aparèixer factors importants de confusió. Com podem estar segurs que els que han participat al progra-ma no eren precisament els més preparats per millorar el seu benestar socioeconòmic? 3. A través d’un estudi experimental contro-lat i aleatoritzat, que és extremament difí-cil d’implementar en la pràctica. només en aquest últim cas podem controlar totes les variables i estar segurs de les relacions de causalitat. Tanmateix, com dèiem, es tracta d’estudis molt difícilment realitzables.

Mètodes qualitatius i participatiusAquestes tècniques sovint proporcionen in-formació decisiva sobre les perspectives dels beneficiaris, el valor que els programes re-vesteixen per a ells, els processos que poden haver afectat els resultats i una interpretació més profunda dels resultats observats en l’anàlisi quantitativa.

En les avaluacions participatives, les parts interessades intervenen en totes les etapes de l’avaluació, per determinar els objectius de l’estudi, identificar i seleccionar els indica-dors que s’usaran i participar en la recopilació i l’anàlisi de les dades.

Els avantatges de les avaluacions qualita-tives són la seva flexibilitat i la possibilitat de ser adaptades específicament a les necessitats de l’avaluació fent servir enfocaments adapta-bles, de dur-les a terme utilitzant tècniques im-

no participen en un programa ni reben bene-ficis), que després es comparen amb el grup de tractament (persones que reben la inter-venció). Els grups de control se seleccionen de manera aleatòria entre la mateixa pobla-ció que els participants del programa, mentre que el grup de comparació és simplement el grup que no rep el programa que s’està inves-tigant. Els grups de comparació i de control han de ser semblants al grup de tractament en qualsevol aspecte, i l’única diferència en-tre els grups és la participació en el programa.

Això es pot fer usant:Metodologies quantitatives Hi ha tres possibilitats per fer una correcta ava-luació d’impacte emprant mètodes quantitatius:

1. A través d’un estudi quasi experimental (en el qual hi hagi intervenció sense aleato-rització) no controlat (sense grup de control). Mitjançant la comparació d’un mateix grup de beneficiaris abans i després de la inter-venció. En aquest primer cas, hi ha un proble-ma important: els factors de confusió. Com podem estar segurs que els resultats de la intervenció han estat deguts a la prestació dels serveis del projecte o programa o han estat resultat de qualsevol altra variable? 2. A través d’un estudi quasi experimental (en el qual hi hagi intervenció sense aleato-rització) controlat. Mitjançant la comparació de dos grups diferents de beneficiaris: un pri-mer grup compost per persones que hagin participat en el programa i un segon grup de control de persones que, tot i sent de la ma-

129

generalitzar els resultats per a una població representativa i més nombrosa. La validesa i la fiabilitat de les dades qualitatives depenen, en gran part, de l’habilitat metodològica, la sensibilitat i la capacitació de l’avaluador. Si el personal sobre el terreny no és sensible a les normes i pràctiques socials i culturals específi-ques i als missatges no verbals, les dades reu-nides poden ser mal interpretades. I finalment, sense un grup de comparació és impossible determinar l’escenari contrafactual i, per tant, la causalitat de l’efecte del projecte.

mediates i de millorar de manera significativa els resultats d’una avaluació d’impacte, ja que proporcionen una millor comprensió de les per-cepcions i prioritats de les parts interessades i les condicions i els processos que poden haver afectat les repercussions d’un programa.

Entre els principals desavantatges hi ha la sub-jectivitat en la recopilació de dades, la falta d’un grup de comparació i la falta de solidesa estadística, ateses les dimensions de les mos-tres, la majoria reduïdes, la qual cosa fa difícil

Alguns instruments qualitatius d’interès per avaluar l’impacte

Reunions grupals: d’aquesta manera, es poden recollir els punts de vista d’un nombre conside-rable de persones beneficiàries en un període de temps relativament curt. En general, és convenient que les reunions es duguin a terme a partir d’un conjunt de preguntes obertes i que es permeti que sorgeixin discussions amb l’equip d’investigació.

Entrevista familiar: Atesa la importància de deter-minar la manera en què un projecte ha afectat di-rectament les vides de les persones beneficiàries, també pot ser convenient entrevistar un nombre reduït de les famílies implicades en diversos pro-jectes. El seguiment continu d’un nombre repre-sentatiu de famílies respecte de la comunitat és un instrument comú per fer un seguiment detallat d’aquest efecte directe. generalment, les entrevis-tes familiars es poden posar per escrit en forma de miniestudis de cas, per ajudar a il.lustrar un text. Observació directa: L’observació directa pot ser un instrument per complementar la informa

ció recollida per mitjà d’altres instruments. Per exemple, en les visites a les comunitats i a les famílies de les persones beneficiàries, es poden observar els senyals del benefici de participar en el projecte: per exemple, qüestions com el tipus de propietat sobre l’habitatge, el nivell de neteja de la comunitat, els senyals d’erosió del sòl, etc.

Ús d’informadors clau: Que puguin aportar una opinió addicional, informada, però idealment «independent», o menys directament involucra-da, sobre el projecte i els beneficis i canvis que aquest podria haver produït a les comunitats lo-cals. Aquests informadors poden ser mestres d’escola, funcionaris dels governs locals o altres figures de rellevància en l’àrea local. Per exemple, els informadors clau poden comparar els esforços del projecte amb els d’altres iniciatives similars promogudes per altres projectes; demanen intro-duir un element «polític» i donar la seva opinió sobre les fortaleses relatives i els motius d’alguns dels actors involucrats; o poden establir una con-nexió entre les activitats del projecte i el que en la seva opinió constitueixen necessitats locals clau.

130

inclouen recomanacions clares i pràctiques provinents de l’anàlisi dels efectes, que es poden dividir en prioritats a curt i llarg termini, i, quan sigui possible, han d’incloure inferèn-cies pressupostàries.

Finalment, els informes s’han de planificar com a part d’una estratègia de difusió més àmplia, que pot incloure presentacions per a diversos públics destinataris, butlletins de premsa, retroalimentació als informadors i la publicació de la informació a Internet. Aques-ta estratègia de difusió s’ha d’incloure en les etapes inicials del procés de planificació, per garantir que s’incorpori al pressupost i que els resultats arribin al públic previst.

El millor, per tant, és, sempre que sigui pos-sible, integrar ambdues metodologies: les quantitatives i les qualitatives.

Atesa la multiplicitat dels tipus de projec-tes, preguntes de l’avaluació, disponibili-tat de dades, restriccions de temps i cir-cumstàncies del país, cada estudi d’ava-luació d’impacte serà diferent i requerirà una certa combinació de les metodologies adequades, tant quantitatives com qualita-tives. L’avaluador ha d’examinar amb cura les opcions metodològiques en dissenyar l’estudi, amb l’objectiu de produir els re-sultats més sòlids possibles.

5. Anàlisi de les dades obtingudes i difusió dels resultatsLes conclusions derivades de l’avaluació d’impacte tindran una aplicació més gran si

Alguns consells a l’hora d’encarregar avaluacions d’impacte

• Portar a terme, tant com es pugui, avaluacions com més participatives millor. La participació de diferents stakeholders és important en termes d’apropiació i sustentabilitat del procés i ús de les recomanacions fruit de l’avaluació. Aquest enfocament participatiu, però, requerirà més temps.

• Evitar avaluacions d’impacte excessivament am-bicioses: concentrar l’atenció en els canvis que es puguin verificar de manera tangible.

• Incloure en els termes de referència de l’avaluació preguntes més obertes, no centrades únicament en els indicadors dels projectes que es van desenvolupar.

• Dedicar temps a les qüestions transversals: afegir alguna pregunta relativa a qüestions de gènere, medi ambient, etc., en les preguntes d’avaluació.

• Triangulació: assegurar-se que l’avaluació s’ha dut a terme fent servir diferents mètodes, eines i perspectives; obtenint informació i dades de diverses fonts; creuant dades i resultats de dife-rents mètodes.

• Configurar un equip d’avaluació multidisciplinari, que pugui aportar enfocaments i metodologies diferents i complementàries. Sempre que sigui possible, mirar d’incorporar personal local a l’equip d’avaluació, que aporti un coneixement més gran de l’entorn i del context locals.

131

L’avaluació de l’apoderament

L’apoderament s’ha convertit en una de les qüestions centrals en el discurs sobre el de-senvolupament a partir dels anys noranta. Ja no es tracta de portar a terme projectes socials o econòmics, sinó de capacitar les poblacions locals perquè puguin ser les protagonistes del seu propi desenvolupament. Tanmateix, es tracta d’un concepte que ha estat enfocat des d’òptiques diverses. En alguns casos se n’em-fasitza el component polític, destacant la lluita col.lectiva dels pobres i desafavorits, mentre que en d’altres es parla de la capacitat dels individus d’un determinat grup o societat de prendre decisions i influir en les qüestions que determinen les seves vides. En qualsevol cas, la majoria d’autors —Van Eyken (1990), Fried-mann (1992), Craig i Maig (1994) i Rowlands (1997)— se centren en la noció de «poder» i en el seu ús i distribució per possibilitar canvis en les estructures socioeconòmiques.

Es tracta, doncs, d’un concepte ampli i una mica difús, cosa que ha impedit que en alguns casos s’incorporés adequadament a les polítiques in-ternacionals de cooperació, a més de fer difícil valorar fins a quin grau s’han implementat pro-cessos o projectes que han servit per apoderar determinats col.lectius. Es planteja la qüestió se-güent: com es poden mesurar processos d’apo-derament? Tenint en compte tots els aspectes esmentats en la introducció d’aquest apartat, ara mirarem de donar algunes pistes sobre com es pot encarar aquesta problemàtica.

2.1.2. Tangible versus intangible

Com apuntàvem en la introducció d’aquest capítol, el contingut dels projectes i progra-mes també ha evolucionat. Així, aquest èm-fasi en el «desenvolupament» més que en l’«ajuda» que indicàvem, juntament amb la voluntat que en siguin els protagonistes els mateixos actors locals, fa que s’atorgui pre-ponderància a objectius més «abstractes» i de caràcter més qualitatiu, com l’enfortiment institucional, l’apoderament, la participació ciutadana, la creació de capital social o l’equi-tat de gènere. Aquesta translació a objectius més qualitatius i processuals té implicacions en els sistemes de seguiment i avaluació, que han d’adaptar les seves metodologies i eines.

Examinem alguns dels enfocaments i les me-todologies que es debaten actualment per fer front a aquestes qüestions, a partir de quatre grans grups de conceptes: l’apoderament, el capital social, l’enfortiment institucional i la in-cidència política.

Apoderament

Capital social

Enfortiment institucional

Advocacy i incidència

política

132

DIMENSIONS DE L’APODERAMENT, SEGONS INTRAC42

En primer lloc, com hem dit abans, l’apode-rament no pot ser avaluat si no se n’ha fet prèviament un seguiment, seguint les pau-tes que indica InTRAC.43 Paradoxalment, les organitzacions de desenvolupament han evolucionat molt pel que fa a la retòrica de l’«apoderament», però són universalment dèbils quant al seu seguiment. Hi ha molt poca evidència que moltes organitzacions de desenvolupament hagin pogut desenvolu-par sistemes eficaços per fer el seguiment d’un procés qualitatiu. Per resoldre aquesta problemàtica cal, per tant, tenir un diagnòstic de la situació de partida. Algunes preguntes dissenyades per InTRAC —dirigides a de-terminar el que significa el concepte en un

42 InTRAC: «Seguimiento y evaluación del em-poderamiento», document de consulta, novem-bre del 1999. 43 InTRAC: «Seguimiento y evaluación del empo-deramiento», document de consulta, novembre del 1999.

programa determinat— poden ajudar-nos a l’hora de fer aquest diagnòstic:• En el context de projectes de desenvolupa-

ment la intenció dels quals és «apoderar» els sectors de baixos ingressos, quines són les característiques i els factors clau en el con-text del projecte que hem d’identificar i expli-car si volem entendre la dinàmica del poder?

• Quines són les diferències polítiques, socials i econòmiques més importants entre els qui tenen el poder i els qui no en tenen en un context de desenvolupament en particular?

• Quines són les principals característiques de desapoderament que s’han d’abordar si el projecte de desenvolupament ha d’«apo-derar» la població local?

• Segons la vostra opinió, quins són els ele-ments clau de qualsevol intervenció de de-senvolupament dissenyada per «apoderar» les persones d’escassos recursos?

Aquestes i altres preguntes constitueixen l’anà-lisi contextual del poder que hem de dur a terme

Psicològica Cultural Social Econòmica Organizativa Política

Autoimatge i identitat

Crear un espai

Adquirir coneixement

Redefinir les regles i normes

de gènere

Recrear pràctiques culturals

Lideratge en accions

comunitàries

Acció en drets

Inclusió social Alfabetisme

garantir la seguretat de

l’ingrés

Propietat sobre els béns

productius

destreses empresarials

Identitat col.lectiva

Crear organització

representativa

Lideratge institucional

Participació en institucions

locals

negociar el poder polític

Accedir al poder polític

133

Pautes en el disseny d’una avaluació d’apoderament, segons INTRAC:

1. Sobre la base de la introducció al context i al proble-ma que intentarà abordar el projecte, quins consi-dereu que seran els FACToRS CRÍTICS dels quals el projecte haurà de prendre nota o que el projecte haurà d’abordar si ha d’intentar «apoderar» el vostre grup objectiu?

2. determineu el PRoPÒSIT gEnERAL del projecte en termes de l’APodERAMEnT de tota o una part de la població local. Poseu per escrit aquest propòsit en un sol paràgraf.

3. ESPECIFIQUEU fins a TRES oBJECTIUS ESPE-CÍFICS que us traçaríeu per al projecte a fi de promoure l’apoderament de la població objectiu. Assegureu-vos d’indicar exactament quin és el grup objectiu del procés d’empoderament.

4. Identifiqueu i descriviu només doS IndICAdoRS que usaríeu per a CAdASCUn dels oBJECTIUS ES-PECÍFICS d’«apoderament» indicats abans. Aquests indicadors es convertirien després en la base del sis-tema de seguiment del projecte.

5. Agafeu Un d’AQUESTS IndICAdoRS i expliqueu amb detall com en faríeu el seguiment. A més, quins mètodes utilitzaríeu i com enregistraríeu i em-magatzemaríeun la informació?

6. Indiqueu quines TÈCnIQUES o EInES específiques usaríeu per avaluar les dades i la informació i que us permetessin entendre la manera com el procés d’apoderament va evolucionant.

Font: INTRAC

The World Vision Area development Pro-gramme», World Vision, 2007 www.dev-net.org.nz/conf/Papers/zenz.pdf

• Kate Roberts i Jeff Coutts: «Evaluating Em-powerment: The human element of capacity building», publicació de Rural Industries Re-search and development, núm. 07/063, juliol del 2007.

al començament si hem de poder avaluar fins a quin punt un projecte en particular ha canviat el centre, els patrons i la distribució del poder.

En segon lloc, és necessari determinar indica-dors que ens permetin mesurar els avenços. Cal un conjunt d’indicadors que ens donin informació tant sobre el producte com sobre el resultat i l’impacte. Algunes metodologies noves, com la del canvi més significatiu, que explicarem més endavant, també poden aju-dar a mesurar els avenços del procés, pres-cindint de la utilització d’indicadors i utilitzant, en canvi, preguntes obertes que reflecteixin els canvis substancials del programa.

L’organització ha de decidir, en funció de les ca-pacitats, els recursos i les característiques de l’entorn, quins són els mètodes més adequats per a la recol.lecció i l’anàlisi de les dades, tenint en compte, com ja assenyalàvem, que és més adequat un enfocament que fomenti la partici-pació de tots els actors. En l’apartat següent, en el qual ens centrem en com s’ha d’avaluar, detallarem alguns dels mètodes més utilitzats en aquest tipus d’avaluacions.


• InTRAC: «Seguimiento y evaluación del em-poderamiento. documento de consulta». oxford, novembre del 1999. www.preval.org/documentos/00429.pdf

• Adrian Zenz: «Evaluating Empowerment:

134

RECURSOS METODOLòGICS

Indicadors d’apoderament intern

Objectiu específic Indicadors

Autogestió

Augment i tendències de la filiacióRegles i procediments clars

Comptabilitat financera adequadaAssistència regular a reunions

Resolució de problemesIdentificació de problemes

Capacitat d’anàlisi

democratització

Selecció lliure i justa de dirigentsIntegració de membres més dèbils en la presa de

decisionsTransparència en el flux d’informació

Sostenibilitat i autosuficiència

Resolució de conflictesAccions iniciades pel grup

Personalitat jurídicaSistema de suport intergrupal

Indicadors d’apoderament extern

Construcció de vincles Indicadors

Amb organització executora del projecteInfluència en diferents etapes del projecte

Representació en administració del projectegrau d’autonomia financera

Amb organismes estatalsInfluència sobre fons estatals de desenvolupament

Influència sobre altres iniciatives estatals

Amb organismes socials i políticsRepresentació en aquests organismes

Pressió política enfront de partits regularsInfluència en escoles i centres de salut locals

Amb altres grups i moviments socialsFormació de federacions

Establiment de contactes i treball en xarxes

Amb elits locals i altres persones no vinculades al grup

nivell de dependència d’elits localsgrau de conflicte

Capacitat per incrementar poder

EXEMPLES D’INDICADORS PER AL MESURAMENT DE L’APODERAMENT

136

Foment de l’Activitat Econòmica. Enfortiment Socio organizatiu i Comercial de dos organitzacions de Segundo grado de les Províncies de Manabi i Los Ríos. Ecosol. Ecuador 2008

137

procés d’apoderament, a partir de les quals es poden definir diversos indicadors:

Roberts i Coutts (2007) identifiquen sis ca-pacitats bàsiques perquè es pugui produir el

Capacitats que possibiliten l’apoderament Indicadors

Pensament críticCapacitat d’anàlisi i reflexió

Capacitat de síntesiCapacitat d’avaluació i de fer judicis sobre la realitat

Capacitat de planificacióComprensió dels processos de planificació

Capacitat de participar, individualment i en grup, en un procés de planificació

Habilitats comunicatives

Capacitat d’escoltarAssertivitat

gestió de conflictesComunicació amb altres Transmissió d’informació

nivell de confiança /competència en la interacció amb altres

CCapacitats relacionals (networking)nivell de contacte amb altres (individus i grups)

diversitat en els contactes

Capacitats de facilitacióComprensió dels principis i processos de facilitacióCapacitat per impulsar processos de facilitació en

família/grup, comunitat, etc.

Lideratge Comprensió i implementació de principis de lideratge

El mesurament de la creació de capital social

El concepte de capital social és també un concepte recent en les discussions sobre el desenvolupament, i la seva definició precisa continua en evolució. Se sol definir com el conjunt de normes, institucions i organitza-cions que promouen la confiança i la coope-ració entre les persones, les comunitats i la

societat en el seu conjunt (CEPAL). Comprèn aspectes com el grau de confiança entre els actors socials d’una societat, les normes de comportament cívic practicades i el grau d’as-sociativitat que caracteritza aquesta societat, els valors ètics o la consciència cívica.

Per mesurar i avaluar la creació de capital so-cial, igual com hem vist en el cas de l’apo-derament, caldrà dividir el concepte en com-

138

diferents països del món, amb la intenció de crear una base de coneixement i ímpetu per a activitats que tinguin com a objectiu enfortir la societat civil. L’índex és implementat per i per a les organitzacions de la societat civil, però al mateix temps també involucra activament re-presentants del món acadèmic, governs, fun-dacions i el públic en general, a qui també es difondran els resultats del projecte.


• Banco Mundial. Grupo de expertos en ca-pital social: «Cuestionario integrado para la medición del capital social», 4 de març de 2002. És un exemple de qüestionari que mesura les sis variables identificades pel Banc Mundial i que pot servir de referència per a les ongd a l’hora de dissenyar qüesti-onaris per mesurar aquesta variable. www.preval.org/documentos/00420.pdf

• Índex de societat civil desenvolupat per CIVICUS (www.civicus.org/new/CSI_over-view.asp)

RecuRsos metodològics

ponents, adaptant-lo al context local i inten-tant definir les variables i els indicadors que responguin millor a aquest context i que en captin la naturalesa multidimensional. El Banc Mundial distingeix sis variables bàsiques i les desglossa cadascuna en diversos indicadors (tal com es mostra en el quadre, més enda-vant):

grups i xarxes (i) Confiança i solidaritat (ii) Acció col.lectiva i valors (iii) Informació i comunicació (iv) Cohesió i inclusió social (v) Apoderament i acció política

Els mètodes qualitatius, com els grups de discussió, el mapatge d’institucions, els ràn-quings de prioritats, etc., es mostraran espe-cialment eficaços per al mesurament del ca-pital social, ja que aquest entra en joc i es pot observar durant aquests exercicis d’anàlisi.

Per al mesurament del capital social són es-pecialment útils els enfocaments participa-tius: les anomenades tècniques de diagnòstic rural ràpid (rapid rural appraisal) i diagnòstic rural participatiu (participatory rural appraisal) que explicarem més endavant.

Una altra eina de gran utilitat per avaluar con-cretament el grau d’associativitat és l’índex de la societat civil desenvolupat per Civicus. Es tracta d’un projecte d’investigació-acció que intenta avaluar l’estat de la societat civil en

139


PRÀCTICA DeSTACADA 1:Criteris d’avaluació de la creació de capital social segons el Banc Mundial

1. Grups i xarxes, associativitat. Participació de la societat civil en grups, xarxes, associa-cions, etc., organitzats o informals i grau d’implicació en aquests:

a. grau de participació en organitzacions.b. Aliances amb organitzacions semblants o governs, municipis, universitats, etc.c. Sistema de presa de decisions al grup.d. Manera de seleccionar els líders del grup.e. Cooperació o col.laboració de diferents grups entre ells.

2. Autoestima personal i col.lectivaa. Satisfacció i orgull pel projecte dut a terme.b. Autopercepció com a agents protagònics.c. Autopercepció pel que fa a la capacitat d’emprendre la tasca.d. Valoració de la cultura pròpia.

3. Acció col.lectiva i valorsa. Comportament cívic comunal.b. Responsabilitat col.lectiva del que és públic.c. Participació en activitats comunals.d. La participació era obligatòria o voluntària?e. Quina proporció de les persones de la seva comunitat hi contribueixen? Amb temps o amb diners?f. La gent s’ajuda mútuament? grau de solidaritat que hi ha a la comunitat.g. Confiança mútua entre els agents

4. Informació i comunicació a. Hàbits de consum de premsa, ràdio, televisió.b. Fonts d’informació més importants de la política i la situació socioeconòmica.

5. Cohesió i inclusió social a. Percepció sobre la unitat de la comunitat.b. Principals problemes i diferències.c. Tothom pot participar en totes les activitats comunitàries?d. Percepció sobre la seguretat i la violència.

140

6. Apoderament i acció políticaa. grau de control sobre les decisions que afecten la pròpia vida (més confiança en la pròpia

capacitat per emprendre alguna forma d’acció amb èxit).b. Participació en grups amb fins sociopolítics.c. Poder com a resultat d’un accés creixent a recursos econòmics, amb crèdit i entrades.

PRÀCTICA DeSTACADA 2:Índex per mesurar la societat civil elaborat per CIVICUS

OBJECTIUSL’índex de CIVICUS de la societat civil té els objectius següents:

• Augmentar el coneixement i la conscienciació sobre l’estat de la societat civil.• Enfortir els interessats directes i actors clau de la societat civil mitjançant la promoció del diàleg, l’aprenentatge col.lectiu i el desenvolupament de xarxes.

La meta de l’índex és intentar augmentar la força i la sostenibiltat de la societat civil, per tal de donar suport a la seva contribució al canvi social positiu.

METODOLOGIAL’índex avalua quatre dimensions de la societat civil i resumeix els resultats en un diagrama en forma de diamant:

• Estructura: Quina és l’estructura interna de la societat civil? Quina mida té i com és de vibrant i representativa?

• Ambient extern: Quin és l’ambient polític, socioeconòmic, cultural i legal en què viu la societat civil? Aquests factors l’enforteixen o la debiliten?

• Valors: La societat civil practica i promou valors socials positius?• Impacte: Quin és l’impacte de la societat civil? La societat civil és efectiva en la resolució

de problemes socials, econòmics i polítics i en el servei del bé comú?

EL DIAMANT DE LA SOCIETAT CIVILEl diamant CIVICUS de la societat civil en presenta l’estat actual i, quan s’utilitza de manerasostinguda, mostra com és el seu desenvolupament.

Marc analític desenvolupat per a CIVICUS pel Dr. Helmut Anheier, Centre for Civil Society, a la London School of Economics

Més informació a www.civicus.org

141

PRÀCTICA DeSTACADA 3:Criteris de valoració del capital social a Ayuda en Acción

Institucions Hi ha institucions reconegudes per la població?

Xarxes Hi ha grups socials organitzats en funció d’assumptes productius, socials, culturals, mediambientals o polítics? Hi ha grups socials organitzats en funció de projectes d’AeA?

Funcionalitat Aquests grups compleixen les funcions per a les quals es van crear?

Normativitat Hi ha normes i sancions que regulen el funcionament dels grups?

Conflictivitat Hi ha mecanismes per a la resolució dels conflictes?

Lideratge Hi ha líders comunitaris? Representen els interessos de la seva comunitat? La gent confia en els seus líders?

Participació/ Cooperació

Els subjectes participen en assumptes d’interès comú?

Presa de decisions Els processos de presa de decisions es donen de manera democràtica? En els processos de presa de decisions, hi participen homes i dones?

Civisme Hi ha respecte entre els diferents subjectes socials? Hi ha respecte pels béns públics?

Reciprocitat Hi ha relacions de reciprocitat entre els subjectes socials?

Confiança Les persones confien en la resta de subjectes de la seva comunitat? Con-fien en les seves organitzacions? Confien en els seus líders? Confien en elles mateixes?

Recursos pràctics segons la metodologia desenvolupadapel Banc Mundial per al mesurament del capital social

Resum d’alguns consells a l’hora d’organitzar avaluacions de capital social:

1. Conèixer el context local: cal refinar les hipòtesis inicials en funció de totes les dades i infor-macions disponibles sobre els tipus, les formes i els nivells de capital social. 2. dissenyar una guia detallada per al treball de camp, que inclogui un calendari realista i orien-tacions específiques per a tots els components de l’estudi.

44

44 nora dudwick, Kathleen Kuehnast, Veronica nyhan Jones i Michael Woolcock (2006): «Analyzing social capital in context. A guide to using qualitative methods and data», Banc Internacional de Recons-trucció i Foment/Banc Mundial.

142

3. Elegir l’equip d’investigadors: cal tenir en compte aspectes com la familiaritat amb la cultura i la religió locals i el domini de la llengua, que l’equip sigui equilibrat en gènere i etnicitat (si es treballa amb determinats grups). Cal integrar a l’equip xarxes d’investigació locals i investigadors locals sempre que sigui possible (tot i que si pertanyen a alguna de les comunitats de l’estudi poden ser menys imparcials en l’anàlisi de la informació).

4. Establir sempre ponts entre la investigació i el treball de camp i el desenvolupament de les activi-tats i l’anàlisi de les polítiques del programa, per assegurar-se que els descobriments de l’avaluació s’utilitzen per a la millora del programa.

5. Formar l’equip d’investigació en els mètodes, les temàtiques i el format d’informes que s’utilitzaran i fer-ho conjuntament. És important també identificar prèviament els materials que els investiga-dors faran servir en el treball de camp per facilitar el seu treball qualitatiu. Algunes de les tècniques que s’usaran, com els grups de discussió, poden requerir formació específica. Els moderadors, per exemple, també necessiten una formació específica.

6. Invertir temps i recursos en la traducció i interpretació precisa dels conceptes clau i la terminologia a l’idioma local. Tenir en compte les consideracions regionals, diferències religioses, qüestions de gènere, etc.

7. Establir alguns principis bàsics per a l’equip d’avaluació, com ara:a. generar només el volum de dades necessari.b. Ser transparent i honest amb tots els stakeholders amb relació als objectius i el procés

d’avaluació.c. Evitar crear expectatives poc realistes. d. Construir un clima de confiança entre els investigadors, la població beneficiària i els stake-

holders.e. Evitar dirigir les respostes dels entrevistats i participants en la investigació.

8. Integrar tots els agents clau en el disseny dels indicadors de l’estudi d’avaluació, tant quantitatius com qualitatius.

9. Permetre a la població local actuar com a soci en la recollida i anàlisi de dades, ja que poden donar orientació sobre la seva fiabilitat. És necessari crear un entorn flexible i relaxat que permeti als participants compartir el control del procés de recollir i documentar els seus punts de vista i expe-riències. En molts casos, la població local serà principalment l’encarregada del procés de recollida i anàlisi d’informació, i els investigadors actuaran com a facilitadors del procés.

10. Si els mètodes qualitatius complementen una enquesta, usar els descobriments de la investiga-ció qualitativa per afinar les preguntes i els mètodes de l’enquesta.

11. Sintetitzar immediatament la informació generada per un grup en un informe de camp utilitzant un format consensuat prèviament, i difondre aquest informe entre els beneficiaris per verificar els descobriments

143

12. Utilitzar les dades quantitatives disponibles (primàries o secundàries) per triangular els descobri-ments de l’avaluació i produir un informe que els consolidi amb els descobriments qualitatius.

13. generar un document de síntesi que expliqui els descobriments i remarqui les implicacions per als diferents actors amb relació a les polítiques i el disseny dels programes. Aquest document hauria de ser compartit amb les autoritats que controlen els projectes i les polítiques locals, així com amb les comunitats locals, els mitjans de comunicació, els donants i altres actors.

14. Emfasitzar el procés de difusió posterior de l’avaluació, adaptant els informes als destinataris. És interessant considerar la presentació pública dels resultats de l’avaluació als seus participants, per seguir-ne discutint els descobriments i les implicacions.

Preguntes que es poden incloure en els mètodes qualitatius (entrevistes, grups de discussió, etc.) per mesurar les sis variables identificades per al mesurament del capital social:

Dimensió 1: Grups i xarxes

A.1 Context: disponibilitat i accessibilitat de recursos i serveis • Quins són els recursos existents (recursos naturals, incloent-hi els centres culturals i recreatius,

els mercats, infraestructura de comunicacions, etc.) disponibles a la comunitat? Com es distri-bueix l’accés a aquests recursos entre les llars i els grups?

• Com estan distribuïts els actius (riquesa, terra, béns immobles, educació, etc.) en la comunitat? És a dir, quin percentatge de la població hi té accés?

• Quins serveis dominants (socials, municipals, governamentals, etc.) es proporcionen en la comu-nitat? Com es distribueix l’accés a aquests serveis entre les llars i els grups?

• Quins són els obstacles primaris als quals ha de fer front la comunitat (ambientals, geogràfics, accés a l’aigua, etc.)?

• Els grups pobres o marginats es troben més obstacles per accedir a recursos i/o serveis de la comunitat?

A.2 Accés a grups i xarxes

• Quins grups, associacions i xarxes formals i informals hi ha a la comunitat? Quines són les seves funcions explícites i implícites? Quins esdeveniments agrupen els membres de la comunitat?

• Qui exerceix una direcció o un paper de mobilització en els grups o les xarxes? • Quins factors contribueixen al lideratge dins d’aquests grups (per exemple, edat, eleccions, edu-

cació, estat socioeconòmic, gènere)? • Descriviu la diversitat de papers dins dels grups o de les xarxes. • En quines xarxes confien els individus per resoldre problemàtiques de la seva vida diària?• Què s’intercanvia (per exemple, mercaderies, serveis, favors, informació, ajuda moral, etc.) en

els grups o xarxes de la comunitat?

144

• Quins són els objectius més importants de l’intercanvi (per exemple, fer front a necessitats bàsiques, augmentar ingressos, complir requisits socials bàsics, mantenir o ampliar relacions potencialment útils, o una certa combinació d’aquests aspectes)?

• A qui tendeix a ajudar la gent en la seva vida diària? Amb quina freqüència es dóna aquesta ajuda? • A quins grups o xarxes se sent la gent moralment més obligada a assistir?• Quines característiques es valoren més entre els membres de la xarxa (per exemple, reciprocitat

de la confiança, cooperació, honradesa, respecte a la comunitat, etc.)? Quins són els membres més aïllats de la seva comunitat? Es correspon aquest aïllament amb el nombre de grups als quals pertanyen?

Dimensió 2: Confiança i solidaritat

A. Context i història comunitària• Quina és la mida de la població i la composició demogràfica de la comunitat, incloent-hi el tipus

de llar? • Quina és la història de la comunitat? Quins esdeveniments importants, desastres naturals, can-

vis significatius en la prosperitat i/o nivell de benestar han afectat (o afecten) la comunitat? • Quin grau de familiaritat tenen els membres del grup o de la xarxa entre ells?• Quant de temps ha viscut junta la gent en un veïnatge o una comunitat determinada? Fins a quin

punt es coneixen els uns als altres?• Quins són els grups socials importants en la comunitat (per exemple, segons la identificació per

casta, religió, pertinença ètnica, raça, afiliació tribal, regió, etc.)? • Com és de socialment heterogènia o homogènia la comunitat?• Recentment s’han incorporat nous grups a la comunitat? • Quines són les sustentacions primàries d’homes i de dones? I de diversos grups ètnics?

B. Relacions entre normes locals, models de governabilitat i confiança • Quines són les normes culturals i socials d’interacció?• Com afecta el model de govern local i nacional la confiança entre grups o individus? • A quines institucions (formals o informals) recorre la gent quan té problemes individuals o fami-

liars?• A qui recorre la gent per a diversos tipus d’ajuda (per exemple, béns, efectiu, trobar feina, entrar

en una determinada universitat)? • Com es distribueix la confiança en la comunitat (en determinats grups o xarxes)? • Hi ha patrons de desconfiança i suspicàcia entre les llars o entre grups? • Quines són les «ferides» més rellevants que causen aquesta suspicàcia? Quina és la història

d’aquestes ferides?

145

Dimensió 3: Acció i cooperació col.lectiva

A. Context i història de la comunitat• Quins problemes considera més urgents la gent de la comunitat? • En quina mesura els membres de la comunitat col.laboraren entre ells per solucionar aquests

problemes? • Quines tradicions culturals, socials o de la comunitat afecten els patrons d’ajuda mútua, de la

cooperació i de l’acció col.lectiva? Com afecten l’acció col.lectiva els patrons nacionals, regionals i/o locals del govern?

• Descriviu exemples recents d’acció col.lectiva que s’hagin produït en la comunitat (o un segment de la comunitat). Quin era el curs i el resultat d’aquestes activitats?

• Qui va iniciar les activitats? Com van mobilitzar la gent? • Les obligacions socials, culturals o legals limiten la participació de grups específics (per exemple,

dones, gent jove, gent pobra, minories, etc.)? • És més probable que alguns grups, veïnatges i/o llars treballin junts? I si és així, per què? • És més probable que alguns grups, veïnatges i/o llars siguin exclosos de l’activitat col.lectiva? I

si és així, per què? • Quins factors limiten la capacitat o la bona voluntat de la gent per treballar junts (per exemple,

falta de temps, falta de confiança, suspicàcia cap als mobilitzadors, etc.)? • Quines són les sancions socials per violar normes previstes d’acció col.lectiva en la comunitat

Dimensió 4: Informació i comunicació

A. Context i història de la comunitat • Quin és el context recent i històric de l’accés a la informació en la comunitat? • Feu un inventari de les fonts i les infraestructures existents de la comunicació, la seva confia-

bilitat real i percebuda, la seva veracitat, la seva disponibilitat i el grau en què aquestes fonts s’utilitzen en la pràctica.

• Quines són les fonts i els canals locals preferits d’informació? • Quines fonts d’informació informals hi ha a la comunitat? Quins membres de la comunitat són

inclosos o exclosos d’aquestes fonts? • Quina informació està disponible, a través de diverses xarxes, per a les diverses llars i/o grups

(és a dir, hi ha distribució diferenciada dins de la comunitat)? • Quina informació no està disponible per a les diverses llars i/o grups (és a dir, quins són els límits

de distribució diferenciada dins de la comunitat)?

146

Dimensió 5: Cohesió social i inclusió

A. Inclusió i/o exclusió de la participació • ¿Qué factores apoyan la cohesión en la comunidad? • Quins factors donen suport a la cohesió dins la comunitat? • Hi ha desacords que es repeteixin en xarxes i grups, o fins i tot algun conflicte demostrat? • Quins patrons de diferenciació i exclusió de la comunitat hi ha pel que fa a oportunitats, mercats,

informació i serveis?• Quins són els riscos de discriminació social entre els beneficiaris de serveis socials o municipals?

Quins factors socioeconòmics, polítics o religiosos influeixen en aquesta discriminació?• Què evita que els serveis públics i les despeses arribin als grups més pobres i més vulnerables?

Les raons es relacionen amb la pertinença ètnica, el gènere, una agenda política o l’aïllament geogràfic?

• Quins són els patrons d’inclusió i/o exclusió en la participació política? • Quantes vegades les persones de diversos grups socials es casen entre elles?

B. Patrons del conflicte • Quins són els patrons de conflicte en l’àmbit de la comunitat i en el de la família? • Quan han desembocat els conflictes en violència? • Quines classes de conflictes s’han produït en la comunitat durant els cinc darrers anys? I els

darrers deu anys? I anteriorment? • Quins són els detonants per al conflicte diari entre membres d’una xarxa i/o el grup? • Qui són els agents dominants implicats en aquests conflictes? • Quina és la freqüència, la intensitat i la duració de conflictes localitzats? • Quins tipus de mediació han tingut lloc per ajudar la comunitat a resoldre conflictes? Han funcio-

nat? Per què? durant quant de temps? • Quines formes de justícia estan generalment acceptades?

Dimensió 6: Apoderament i acció política

A. govern • Quines són les tradicions legals locals a la comunitat i com afecten aquestes tradicions a la ca-

pacitat cívica? • Quines estructures estatals influeixen en la capacitat cívica? • Com restringeixen o faciliten les lleis no escrites la capacitat dels ciutadans d’exercir influència

sobre les institucions públiques? • Com restringeixen o faciliten les lleis formals la capacitat dels ciutadans d’exercir influència so-

bre les institucions públiques?

147

Només es pot definir amb relació a un ob-jectiu específic, generalment lligat al nivell d’acompliment en una organització, grup, etc. La millora en l’acompliment serviria ales-hores com un indicador de l’èxit d’un pro-grama d’enfortiment. Es tracta d’un procés continu (el desenvolupament de capacitats), les etapes del qual es poden mesurar com a «resultats de desenvolupament». La seva na-turalesa dinàmica és reflex de les nombroses forces que influeixen en la seva construcció o debilitament.

És un fenomen multidimensional. Un marc adequat per al seguiment i l’avaluació de l’en-fortiment ha de considerar totes les variables que l’afecten, malgrat que els esforços del mesurament es concentrin només en unes quantes, que inclouen factors com la motiva-ció, la cultura, el compromís, els canvis en la disponibilitat de recursos, els nivells d’habili-

El mesurament de l’enfortiment institucional

El desenvolupament de capacitats ha avançat cap a una posició central en les agendes de les organitzacions de desenvolupament. Tan-mateix, igual que vèiem per a l’apoderament o la creació de capital social, encara hi ha poca literatura sobre el mesurament de l’en-fortiment institucional.

Què és l’enfortiment institucional? En ell ma-teix, és un concepte intangible i vague. El que constitueix l’enfortiment en la pràctica pot variar molt, i el concepte es continua de-senvolupant amb la pràctica; i s’ha progressat d’identificar-lo bàsicament amb la formació a entendre’l com un concepte molt més com-plex i multidimensional. Per fer-ne un segui-ment i una avaluació correctes s’han de tenir en compte els factors següents:

• Fins quin punt els membres d’una comunitat poden demanar responsabilitats a les institucions públiques i als seus representants per les seves accions?

• Quines classes de mecanismes formals i informals estan disponibles per als individus i els grups per exigir responsabilitat de líders i funcionaris locals?

• Quins grups o segments de la comunitat tenen més influència sobre les institucions públiques?• Quina és la font d’influència d’aquests grups (per exemple, mida del grup, capacitat de mobilitzar

membres o ampliar la base de membres, connexions amb l’elit de poder, importància econòmi-ca)? Quins grups tenen menys influència sobre les institucions públiques i per què?

B. Análisis institucional para hacer un inventario de las instituciones formales e informales en la co-munidad• ¿Cuáles son las relaciones entre estas instituciones? ¿Qué influencia tienen los miembros de la

comunidad sobre las mismas?

148

cions, del sector i de les institucions. I segu-rament, per tenir impacte real, les estratègies d’enfortiment institucional aborden simultàni-ament els diferents nivells.

tats, l’estructura organitzativa, etc. En altres paraules, l’enfortiment institucional comporta intervencions que se centren en diversos ni-vells o plans: dels individus, de les organitza-

Il.lustració 6: Els plans de l’enfortiment institucional

Depèn del context. Els factors externs influ-eixen directament i indirectament en la cons-trucció de capacitats. Poden ser factors cultu-rals, socials, econòmics, polítics, legals, etc. La influència d’aquests factors pot ser crucial per a l’èxit d’un programa d’enfortiment, tot i que són difícils de controlar o mesurar.

Flexibilitat i capacitat d’adaptació. L’enfor-timent institucional exigeix molta flexibilitat i capacitat d’adaptació als contextos locals.

no hi ha, a més, una única manera de fer enfortiment institucional. Els programes, en general, recorren a un conjunt d’estratègies, enfocaments, activitats i recursos orientats tant al desenvolupament de determinades capacitats tècniques com a la transmissió de coneixements i habilitats. Igual com hem vist anteriorment, per aconse-guir un seguiment i una avaluació correctes, és important determinar les variables, de caràcter

ORGANITZACIÓEstructura

CulturaPoder

Persones

SECTOR/XARXESCompetència/Col·laboració

Org. suport

CONTEXT INSTITUCIONAL

Polítiques

Regulacions

Recursospressupostaris

Rol del Estado

Pràctiquesde gestió

Relacionsde poder

Font : Adaptat de Grindle i Hi lderbrand

Formes de relacióLegitimacióRecursos

AutoritzacionsSuport

Col·laboració

MèritCompetències

RotacióFlexibilitat

150

Foment de l’Activitat Econòmica. Enfortiment Socio organizatiu i Comercial de dos organizacions de Segundo grado de les Províncies de Manabi i Los Ríos. Ecosol. Ecuador 2008

151

aquestes tècniques no estableixen indicadors de resultats predeterminats, sinó que miren de reflectir els interessos dels actors participants identificats en la pràctica diària.

La problemàtica principal és entendre adequa-dament la connexió entre el nivell de capaci-tats existent i l’acompliment, i quina combina-ció de variables, dins de l’enfortiment instituci-onal, és crítica per millorar-lo.

no hi ha mètodes estandarditzats ni una llista d’indicadors que funcionin en qualsevol con-

qualitatiu i quantitatiu, que ens donen informació sobre els avenços, així com fer servir un conjunt de mètodes adequats al context i a l’objectiu de l’avaluació. Els que s’han mostrat més eficaços per al mesurament de l’enfortiment institucional inclouen els del canvi més significatiu i el ma-patge d’assoliments, ambdós explicats més endavant. Són mètodes que incorporen la par-ticipació de diferents actors del programa i que no se centren en l’anàlisi de dades quantitatives, sinó a crear consens sobre els avenços més sig-nificatius del programa, sense buscar d’atribuir els canvis a uns inputs determinats. En general,

els quatre plans de l’enfortiment institucional

1. Pla individual, que incorpora els actors individuals (personal administratiu i tècnic, directius, líders d’organitzacions, planificadors, funcionaris, empresaris, etc.). Tradicionalment, la major part d’intervencions de la cooperació s’han centrat en aquest pla, a través de programes de formació i capacitació de recursos humans i d’assistència tècnica destinats a incrementar les capacitats dels individus en diferents àmbits.

2. Pla de les organitzacions, en el qual se situen les entitats (governs centrals i locals, agències de l’Administració pública, organitzacions de la societat civil, empreses, etc.). Constitueix, juntament amb el pla individual, el punt clàssic d’entrada per a les cooperacions bilaterals, a través de la prestació d’assistència tècnica per a la mo-dernització d’organitzacions o el suport financer a aquestes organitzacions. Les tècniques d’agermanament entre organitzacions i entitats dels països (donant i receptor) s’utilitzen de vegades.

3. Pla sectorial, que inclou les polítiques que regeixen i caracteritzen un determinat sector i les relacions de coordinació, col.laboració, competència, etc., que existeixen entre les diferents organitzacions que l’integren. Constitueix una de les àrees que des de fa poc reben atenció per part de les agències de cooperació, cada vegada més preocupades per aconseguir una coherència sectorial de les seves intervencions. Aquesta pre-ocupació ha donat com a resultat, per exemple, el desenvolupament d’estratègies sectorials.

4. Pla del sistema o nivell institucional, que representa el context més ampli en el qual el procés de desenvolu-pament té lloc, i inclou aspectes com les polítiques, el marc jurídic, les normes, la coordinació institucional, les actituds, els valors, etc., que configuren l’entorn.

152

for national Agricultural Research (ISnAR), Països Baixos; International development Research Centre (IdRC), Canadà, i ACP-EU Technical Centre for Agricultural and Rural Cooperation (CTA), Països Baixos. www.cta.int/pubs/isnar2/ECdbook(final).pdf

• Anne Bernard i Greg Armstrong: «Fra-mework for Evaluating Capacity develop-ment in IdRC», Evaluation Unit, IdRC, fe-brer del 2005. http://reseau.crdi.ca/mimap/ev-105774-201-1-do_ToPIC.html

• ECDPM: «Mapping of approaches towards M&E of Capacity and Capacity develop-ment», juny del 2006. http://www.dgroups.org/groups/pelican/docs/Mapping_M&E_capacity_080606.pdf

text, a causa de la diversitat d’entorns i condi-cions en les quals es pot aplicar un programa d’enfortiment institucional. Els recursos que presentem a continuació pretenen donar pau-tes i orientacions a l’hora que cada organitza-ció enfoqui la seva pròpia definició dels indi-cadors i mètodes més adequats per seguir i avaluar processos d’enfortiment.


• Diversos autors (2003): «Evaluating Capa-city development Experiences from Re-search and development organizations around the World», International Service

153


Sis passos per desenvolupar un pla de seguiment i avaluació de l’enfortiment institucional:

Definir el propòsit de l’avaluació (pas 1) Els avaluadors i els planificadors del programa han de treballar amb els stakeholders clau per des-envolupar un pla de SiA durant el disseny d’una intervenció d’enfortiment institucional. Aquest pla es pot utilitzar internament per millorar les intervencions del desenvolupament de la capacitat o per divulgar resultats als stakeholders externs.

Definir els objectius d’execució (pas 2) La capacitat és un requisit previ per a l’execució. Els avaluadors han d’indicar clarament els ob-jectius d’execució d’una intervenció d’enfortiment al començament. Els objectius d’execució es poden expressar com a variables o indicadors que es poden mesurar en comparació d’estàndards internacionals o nacionals o expectatives localment determinades. normalment, la definició dels objectius d’execució reflecteix criteris externs i interns.

Mapatge de capacitat: Construir un marc conceptual específic per a la intervenció d’enfortiment (pas 3)

El mapatge permet identificar factors clau de capacitat i assumpcions sobre com interactuen per infondre capacitat i execució. Si el disseny del programa i del SiA es du a terme simultàniament, el mapatge de capacitats pot contribuir a l’elecció de les estratègies d’intervenció més adequades. Cal tenir en compte que els canvis en l’entorn poden tenir una influència decisiva en el procés d’enfortiment, per la qual cosa és necessari seguir els canvis de l’entorn periòdicament.A través d’anar refinant el mapa, s’han d’anar definint les variables que poden afectar el desenvo-lupament de la intervenció d’enfortiment i que han de ser monitoritzades.

Identificar els indicadors (pas 4) Els indicadors ben definits proporcionen un marc de referència per dirigir tots els stakeholders cap a les mateixes metes. Els indicadors també permeten la mesura estandarditzada del canvi durant la posada en pràctica, que permet als avaluadors entendre el procés de desenvolupament de les capacitats al llarg del temps amb relació a la intervenció. Els indicadors seleccionats han de permetre captar el canvi organitzatiu i en el comportament tan bé com els canvis materials o tècnics. També s’hi han d’incloure indicadors que donin informació sobre l’entorn. Tot això, tenint en compte que és difícil estandarditzar i que l’elecció d’indicadors s’ha d’adaptar al context i la situació de la intervenció.

154

Identificar l’enfocament metodològic apropiat i les fonts de dades (pas 5) L’avaluació de l’eficàcia dels programes d’enfortiment institucional es realitza només en deter-minades intervencions, a causa del seu cost i complexitat. d’altra banda, avaluar l’impacte d’una intervenció d’enfortiment institucional també és difícil per la complexitat de quantificar els mesura-ments per al desenvolupament de capacitats i la dificultat de trobar grups de control de caracterís-tiques similars amb els quals poder-los comparar. Es necessiten mètodes que permetin mesurar els avenços en el procés i cap a on tendeixen els resultats. És recomanable utilitzar un conjunt de mètodes variat per a la recollida i l’anàlisi de la informació, combinant mètodes quantitatius i qua-litatius i incloent-hi tècniques d’autoavaluació, així com mètodes més estandarditzats, triangulant mètodes i fonts de dades i organitzant tallers per a la interpretació de les dades, amb participació dels actors principals.

Desenvolupar un pla de posada en pràctica i difusió (pas 6) En la difusió dels resultats de l’avaluació, els avaluadors han de revisar els descobriments regular-ment i discutir-los amb els stakeholders per fomentar el procés d’apropiació de les recomanacions i orientar-lo cap a la millora de la intervenció. Elaborat a partir d’Anne LaFond: «A guide to monitoring and evaluation of capacity-building inter-ventions in the health sector in developing countries», MEASURE Evaluation Manual Series, núm. 7, març del 2003

PRÀCTICA DeSTACADA:Criteris per a l’avaluació de l’enfortiment institucional a la Creu Roja

i) Entorn de l’organització • Legal i administratiu (marc regulador nacional en què opera l’organització)• Tecnològic (nivell de l’entorn institucional, tecnologies com aigua, energia o comunicacions)• Polític (aspectes com la burocràcia i els recursos amb els quals contribueix el govern)• Econòmic (dinàmica del sistema econòmic i financer en el qual es desenvolupa: inflació, sistema

laboral i bancari, etc.)• Sociocultural• Implicats

Preguntes d’avaluació per mesurar l’entorn de l’organització- Quins dels elements esmentats són els que més afecten la institució?- Com són de predictibles les forces externes a la institució?- L’entorn és hostil a la institució?- Quin és el nivell de flexibilitat de la institució per adaptar-se a l’entorn?

155

ii) Motivació institucional• Història• Missió (la raó de ser de l’organització: objectius generals, valors, filosofia, etc.)• Cultura (suma de valors, creences, costums, tradicions i aspectes relatius al compliment de la

missió que fan única cada organització)• Incentius (sistema de premis i càstigs de l’organització)

Preguntes per a la valoració de la motivació institucional:- Fins a quin punt hi ha una consciència clara de la missió institucional que guia el comportament dels seus membres?- Fins a quin punt els valors institucionals són compatibles amb els dels seus socis i donants?- Fins a quin punt els membres de l’organització han acceptat la missió i la senten com a pròpia?- Fins a quin punt la missió i la meta estan relacionades?- Les metes són apropiades per a la missió?- Quins són els valors fonamentals i les creences que guien el comportament dels membres de

l’organització?

iii) Capacitat institucional

Estratègies de lideratge- Hi ha una estratègia de l’organització?- En general és acceptada l’estratègia de l’organització?- L’estratègia ha ajudat a aclarir les prioritats?- L’estratègia ajuda en la presa de decisions?- Hi ha un procés de seguiment per a l’aplicació de l’estratègia?- Hi ha un procés per aclarir la missió i les creences de l’organització, per treballar en les seves

metes i per comprendre els seus clients i usuaris?- L’estructura de govern opera amb eficàcia i eficiència?- L’estructura de govern està capacitada per suportar la direcció de l’organització?- L’estructura de l’organització és adequada a la missió i a les metes de la institució?- Els rols estan clarament definits i hi ha flexibilitat per anar adaptant-los?- Hi ha un funcionament eficient dels treballs en grup?- Hi ha mecanismes de coordinació que facilitin el contacte entre diferents departaments dins de

l’organització?- Quin és el grau de centralització o descentralització de la presa de decisions?- L’organització busca sistemàticament informació sobre les necessitats dels usuaris?- Com coneixen els potencials clients els serveis i programes de l’organització?

156

Recursos humans (investigació, formació, equip tècnic)- Els llocs són ocupats per les persones adequades d’acord amb la seva formació?- El reclutament i la selecció dels recursos humans es duen a terme de manera efectiva?

Altres recursos (infraestructures, tecnologia, finances)- Les infraestructures de l’organització són adequades per dur a terme la feina diària?- Hi ha uns mitjans de transport adequats cap a i des de la feina?- El funcionament dels sistemes de comunicació és l’adequat?- El nivell tecnològic és adequat a les funcions de l’organització?- Hi ha un sistema adequat per organitzar la tecnologia de l’organització?- Hi ha una planificació pressupostària adequada?- Els plans pressupostaris es preparen puntualment?- Els auditors estan satisfets amb els resultats dels controls que fan?- Els membres de l’estructura de govern estan implicats en la planificació i el seguiment financers?

gestió de programes i processos (capacitat de desenvolupar i administrar les activitats de l’organització: planificació, execució, seguiment, resolució de problemes, presa de decisions, comunicacions, segui-ment i avaluació)

- La planificació desenvolupada a la institució és adequada?- Aquest procés de planificació contribueix a la direcció estratègica de l’organització?- La direcció proporciona plans adequats als membres de l’organització?- Aquests plans se segueixen?- Hi ha mecanismes de presa de decisions sobre el terreny?- Les decisions es prenen a temps?- La presa de decisions i la resolució de problemes són adequats als departaments i als projectes

importants?- Quins són els principals vehicles de comunicació interna?- La gent sent que la comunicació sobre les activitats és adequada?- Hi ha uns mecanismes de comunicació correctes o bé aquesta apareix distorsionada?- La gent té facilitat d’accés als mecanismes de comunicació? Es poden comunicar adequada-ment?

- Hi ha polítiques i procediments que guiïn l’avaluació i el seguiment?- Hi ha recursos assignats a l’avaluació i el seguiment?- El seguiment i l’avaluació són considerats a tots els nivells com a instruments per millorar les intervencions?

- Com són recopilades i utilitzades les dades de l’avaluació i el seguiment?- Hi ha un esquema o procediment de seguiment i plans d’avaluació?- Els resultats de l’avaluació s’esmenten en les estratègies, polítiques i programes?

157

Igual com hem vist amb el seguiment i l’ava-luació d’altres conceptes de caràcter intangi-ble i complex, com l’apoderament, la feina de pressió política no és fàcil de mesurar, i és un camp en què també es fa difícil l’estandardit-zació de mètodes o processos. Tal com as-senyalen Chapman i Wameyo, «Els sistemes i mètodes de seguiment i avaluació actuals “centrats en els projectes” no són apropiats per valorar la utilitat del treball d’incidència i advocacy, que se centra en el desenvolupa-ment de la societat civil i la seva capacitat per exigir responsabilitats als responsables de les preses de decisions.»45

Els autors suggereixen que les ongd in-volucrades en tasques de pressió política a

45 Jennifer Chapman i Amboka Wameyo: «Segui-miento y evaluación del trabajo de advocacy: Un estudio recopilatorio de información», ActionAid, gener del 2001.

Mesurament de la tasca d’advocacy i incidència política

La tasca de pressió política de les ongd ha augmentat molt als últims anys, arran dels canvis en l’entorn i l’arquitectura de la coope-ració al desenvolupament que hem anat ana-litzant al llarg d’aquest llibre. Un gran nom-bre d’ongd, donants i altres actors s’han adonat, després de diverses dècades de pro-jectes d’ajuda al desenvolupament, que fins i tot utilitzant les millors metodologies per a les intervencions no ataquen les veritables causes de la pobresa i la marginació. A més, l’augment de la importància i la capacitat del paper de les ongd del Sud ha resituat el pa-per de les del nord, les quals, en molts casos, han centrat la seva atenció en les campanyes d’advocacy, sensibilització i educació als paï-sos desenvolupats.

Relacions institucionals (xarxes de treball, socis, comunicacions externes)- Fins a quin punt està vinculada la institució amb l’exterior? Són actives aquestes relacions? Són

beneficioses?- Les xarxes de treball existents són mantingudes financerament? I tècnicament?- Les xarxes de treball responen a les necessitats i els interessos dels participants?- Les xarxes de treball han tingut un efecte sobre el funcionament de l’organització?- L’organització transmet informació a l’exterior (implicats, opinió pública) sobre la feina que du a terme?

iv) Funcionament de l’organització• Eficàcia• Eficiència• Viabilitat

158

La tasca de pressió política es basa en la cooperació. Moltes ongd s’obsessionen a determinar l’impacte de la seva pròpia or-ganització de manera independent de la fei-na d’altres actors, i, de fet, és difícil atribuir l’impacte d’una campanya a un únic agent.

Un únic format no dóna resposta a tot. Un altre error freqüent és aplicar eines estan-darditzades de SiA en qualsevol context, sense tenir en compte que els diferents projectes de pressió política poden requerir diferents mètodes i aproximacions.

La tasca de pressió política és sovint com-bativa. També cal tenir en compte aquest aspecte a l’hora de decidir qui participa en el sistema de SiA. Si l’ongd té bona rela-ció amb estructures públiques, pot ser útil preguntar als seus representants sobre l’efectivitat de la tasca de pressió política. Tanmateix, en altres casos això pot portar a informació enganyosa.

Roma no es va fer en un dia. Un altre dels errors més freqüents és l’èmfasi excessiu en el curt termini, en lloc dels objectius menys visibles i a llarg termini. d’una ban-da, l’assoliment de resultats tangibles és una part important de la majoria de treballs d’advocacy, ja que no tan sols demostra un cert grau d’èxit, amb el qual contribueix a aconseguir més recursos, sinó que tam-bé té un paper important en la construcció d’una base més àmplia de participants en la

qualsevol àmbit haurien d’identificar des del principi elements essencials en el seu treball, assegurant-se de fer el seguiment i l’avalua-ció de les àrees que consideren més impor-tants. de fet, sembla evident que l’èxit de la pressió política a curt termini pot ser a costa d’objectius a llarg termini. Els autors argu-menten que tota estratègia de pressió po-lítica, així com la forma en què aquesta pot ser avaluada de manera efectiva, hauria de ser guiada per una anàlisi del poder i de les estructures de poder. Una estratègia de SiA efectiva ha de ser prou flexible per adaptar-se als esdeveniments externs i per ser una eina que pugui remodelar una campanya. Tal com assenyalen Coates i david (2007),46 cal tenir en compte els aspectes següents:

La tasca de pressió política és desorganitza-da. Un error freqüent és suposar que el canvi polític i institucional succeeix d’una manera lineal. generalment, els canvis es produeixen en salts sobtats, de manera inesperada i en resposta a les circumstàncies més inversem-blants. En canvi, sovint els sistemes de SiA per a la tasca de pressió política donen per su-posat que els impactes s’assoliran dins d’un calendari concret, basat en un pla establert (potser fins i tot un Marc Lògic). L’ús d’aquest model pot ser enganyós i fins i tot pot minar l’eficàcia de la feina de pressió política.

46 Barry Coates i Rosalind david: «Learning for change: the art of assessing the impact of advocacy work», development in Practice, vol. 12, núm. 3 i 4.

159

panya va ser assumida per un altre. A més, tot i que les metes fonamentals poden ser clares, moltes vegades és difícil saber quins són els objectius fins que el procés d’advo-cacy no està força avançat. Per tant, tam-bé pot ser necessari canviar els indicadors d’èxit: un indicador que era apropiat al co-mençament de la campanya pot deixar de ser-ho a mesura que la campanya s’amplia o canvia d’objectius.

- Advocacy pot significar moltes coses: dins del terme advocacy incloem tota una sèrie de tàctiques, com són la incidència, els «passadissos», la campanya, les ma-nifestacions, el boicot, etc. diferents or-ganitzacions treballen de manera diferent, i la tasca d’advocacy cada cop es fa més a través de xarxes i coalicions. de fet, els resultats positius que s’aconsegueixen moltes vegades poden ser la conseqüèn-cia de la suma de diversos enfocaments, com, per exemple, les estratègies dels que pertanyen a l’organització i les dels que no. Pot ser difícil avaluar quin enfocament és el clau, i pot ser encara més difícil identificar de manera aïllada l’impacte d’una organit-zació determinada.

- Les polítiques a llarg termini funcionen: I encara més, gran part de la feina d’advocacy és a llarg termini. La reforma de polítiques pot ser lenta i gradual, i la seva implemen-tació, pel que fa a canvis en la vida de les persones, se sol produir força després. Això planteja una dificultat a l’hora d’avaluar l’im-pacte, a diferència dels resultats.

mateixa tasca de pressió política. Però cal tenir en compte que els èxits a curt termini es poden guanyar a costa de metes més a llarg termini. Els objectius a llarg termini es poden basar en la construcció de capacitats entre socis, que promourà canvis més fona-mentals i sostenibles en el futur.

Chapman i Wameyo resumeixen les dificul-tats que presenta el mesurament de la feina d’advocacy en aquests factors:- Relacions causals: La complexitat dels as-

sumptes que es tracten fa que sigui difícil determinar la relació causa-efecte existent entre les activitats d’advocacy de l’ongd i els resultats. Això ja és complicat quan es fa feina de «passadissos» a fi d’aconseguir un canvi determinat en la legislació, però és fins i tot més complicat quan el que es pretén és canviar valors i actituds més generals de la societat. També és impredictible la influèn-cia dels factors externs, com per exemple la situació política, els desastres naturals o les tàctiques d’oposició, que podrien influ-ir en els resultats més que qualsevol altre element que es trobi sota control dins de la feina d’advocacy.

- Flexibilitat enfront de victòria rotunda: Poques vegades es produeix una victòria rotunda, en el sentit d’aconseguir tots els objectius d’una campanya, la qual cosa in-trodueix un element de subjectivitat a l’ho-ra de determinar si es van aconseguir fites importants, si els petits èxits aconseguits són coherents amb la campanya o si la cam-

160

- Escassa acumulació de coneixements: Fi-nalment, la feina d’advocacy acostuma a ser única i rarament es repeteix, per la qual cosa no es produeix una acumulació gradual de coneixements per repetició. Això no vol dir que sigui impossible d’aprendre, sinó que és molt important reflexionar per poder fer explícit el coneixement tàcit, si el que s’ha après en un projecte d’advocacy es vol utilit-zar en el següent.

- Procés conflictiu: La tasca d’advocacy pot ser un procés conflictiu. La feina d’advo-cacy pot tenir conseqüències polítiques pel que fa a les relacions d’uns grups amb els altres. Aquestes conseqüències són difícils de predir i planificar al començament.

Cal destacar que diverses organitzacions han procurat establir marcs d’indicadors per avaluar la tasca d’advocacy, si bé, com ja hem anat comentant al llarg d’aquest apar-tat, per la importància del context local i de les característiques del treball concret que desenvolupa l’ongd, només serviran com a marcs de referència, a partir dels quals s’elaborarà el que sigui més apropiat per a l’organització.

Per saber-ne més:

• Jennifer Chapman i Amboka Wameyo: «Seguimiento y evaluación del trabajo de advocacy: Un estudio recopilatorio de in-formación», ActionAid, gener del 2001.

Aspectes que cal tenir en compte a l’hora d’analitzar la tasca d’advocacy, segons ActionAid:

• Identificar les diferents dimensions de la tasca d’advocacy i els seus resultats.

• Reconèixer que la tasca d’advocacy pot funcionar a diferents nivells que poden, tot i que no necessària-ment, reforçar-se mútuamente.

• Els processos de seguiment, així com els resultats. • Els marcs de referència no han de ser «camises de

força» limitadores. Han de ser considerats només com un instrument que facilita el pensament crea-tiu. El repte consisteix a mantenir una mentalitat oberta davant de resultats no buscats que queden fora del marc de referència d’avaluació que s’hagi adoptat.

• És important fer un seguiment no tan sols dels can-vis de política, sinó també de l’execució.

• Cal reconèixer la naturalesa col.lectiva de la tasca d’advocacy i centrar-se menys en temes d’atribució d’assoliments, ja que és bo adonar-se que és ne-cessari aconseguir un equilibri entre qui s’atribueix l’assoliment i quan cal atribuir-se un assoliment i quan no. Els nostres valors fonamentals han d’estar a la base d’aquest equilibri. La tasca d’advocacy es du a terme cada vegada més en coalicions o en xar-xa. Hem de fixar-nos en com les organitzacioes tre-ballen juntes perseguint un mateix objectiu comú i efectuar un seguiment i una avaluació de quin seria el paper més adequat per a ActionAid.

• Els valors als quals ens adherim com a ActionAid també han de determinar què és el que busquem en el seguiment i l’avaluació de la tasca d’advocacy, la qual cosa, al seu torn, determina qui hi participa i qui no.

Font: Jennifer Chapman i Amboka Wameyo, «Segui-miento y evaluación del trabajo de advocacy: Un es-tudio recopilatorio de información », ActionAid, gener del 2001.

161

impact of advocacy work», development in Practice. http://www.developmentinpracti-ce.org/oa/vol12/v12n03.htm

www.actionaid.org.uk/_content/docu-ments/advocacyscoping_spanish.pdf

• Barry Coates i Rosalind David (2007): «Le-arning for change: the art of assessing the

El marc de referència de l’IDR (1999)

L’IdR proposa que l’impacte de la tasca d’advocacy de les ongd s’ha de mesurar en funció de tres criteris: polítiques, societat civil i democràcia.

1. Polítiques. L’impacte en l’àmbit de les polítiques és el grau en el qual s’aconsegueixen els objectius es-tablerts en aquest àmbit. És a dir, canvis concrets en polítiques, pràctiques, programes o conductes de les principals institucions que afecten la societat, com ara el govern, les institucions financeres internacionals i les empreses. Els canvis aconseguits en aquesta dimensió sorgeixen a partir de la incidència en les estruc-tures de presa de decisions i són fonamentals per garantir que les polítiques i pràctiques públiques millorin la vida de la gent.

2. Societat civil. L’impacte en l’àmbit de la societat civil és el grau en què s’enforteix la capacitat de les orga-nitzacions civils per seguir la tasca d’advocacy o emprendre’n una de nova. Són més capaços de dur at ermes tasques d’advocacy, de participar en la presa de decisions públiques i de continuar treballant en una cam-panya a llarg termini, inclosos el seguiment de la implementació i el compliment de les reformes i l’exigència de responsabilitats a les institucions públiques i privades. Un altre aspecte important de l’enfortiment de la societat civil consisteix a augmentar el «capital social», és a dir, les relacions de confiança i reciprocitat que subjauen en la cooperació i la col.laboració i que són necessàries per a la tasca d’advocacy i per treballar conjuntament. 3. democràcia. L’impacte en l’àmbit de la democràcia és la mesura en què el treball ha obert canals de par-ticipació perquè les organitzacions de la societat civil intervinguin en la presa de decisions en el futur, per crear punts de suport per als que vénen darrere. Això es pot fer proporcionant mecanismes de participació als sectors privats de drets en el diàleg d’elaboració de polítiques, incrementant la legitimitat política de les organitzacions de la societat civil i millorant les actituds i conductes dels càrrecs públics i elits cap a les ongd i els grups de base. Inclou l’augment de la tolerància en general i el respecte als drets humans i l’increment de la transparència i l’obligació de rendir comptes de les institucions públiques.

Font: Jennifer Chapman i Amboka Wameyo: «Seguimiento y evaluación del trabajo de advocacy: Un estudio recopilatorio de información», ActionAid, gener del 2001


162

pondre les preguntes formulades pels donants sobre l’acompliment, els assoliments i la justi-ficació econòmica de les activitats a les quals ells donen suport. Malgrat això, els canvis que hem analitzat anteriorment i l’èmfasi a conce-bre la cooperació com el suport als processos de desenvolupament endògens han fet sorgir un nou enfocament democràtic de l’avalu-ació, que posa l’accent en la participació i l’apoderament de les poblacions locals en tot el procés de desenvolupament del pro-jecte, incloent-hi el de seguiment i avalua-ció, així com en l’ús real que es dóna als resultats i les recomanacions.

«L’objectiu és transformar l’avaluació perquè passi de ser una antiga filosofia gerencial, en la qual l’objectiu és que els administradors controlin els empleats, pressionant-los per-què siguin més eficients, a ser una eina ad-ministrativa democràtica nova, que estigui a la disposició de tots els membres de la insti-tució, perquè puguin comprendre millor l’en-torn institucional i aprendre de l’experiència passada, ser més responsables davant d’ells mateixos, i ser més eficients.»48

A més, aquests corrents i les eines que utilitzen s’han demostrat més adequats per mesurar pro-cessos de canvi i variables intangibles que els tradicionals. Segons Kushner (2006), el proble-

48 Segone: «Evaluación democrática: Una pro-puesta para fortalecer la función de evaluación en agencias internacionales de desarrollo», Docu-mento de Trabajo núm. 3, UnICEF, maig del 1998.

2.2. Per a qui s’avalua: cap a un enfocament democràtic de l’avaluació

«Els “enfocaments” es poden referir a una àmplia gamma d’assumptes. Poden apode-rar, ser participatius, enfocats en la gent, inclusius o referir-se a l’equitat de gènere. També poden desempoderar, ser verticals, formulistes, excloents i esbiaixats cap al sector masculí. o, per descomptat, poden ser (i sovint són) una combinació de tot això, intencionadament o no. Tot enfocament té un bagatge de valors, concepcions i actituds que li donen un toc, un matís. Cal tenir clar aquest aspecte: els enfocaments per al de-senvolupament no són neutrals. Si un enfo-cament té una agenda transformativa, la té en un sentit determinat, cap a un canvi en les relacions de poder o en l’assignació de recursos.»47

Tradicionalment, els sistemes d’avaluació i se-guiment dels projectes han estat dirigits a res-

47 Jo Rowlands (2003): «Para salir de su zona có-moda: algunos temas, preguntas y desafíos al pen-sar en enfoques y métodos para el desarrollo», arti-cle inclòs a Métodos y enfoques para el desarrollo. Reflexiones críticas, editat per oxfam gB.




164

Contribució al desenvolupament local del municipi de Jiquilisco a través del foment de processos de desenvolupament endogen participatiu en el Cartón Puerto Avalos, departament d’Usulután. Yolocamba Solidaridad. El Salvador 2008

165

(utilization-focused evaluation). Tots aquests corrents comparteixen elements comuns. Es tracta d’enfocaments valoratius i no de meto-dologies, i es caracteritzen per tres principis bàsics: inclusió, diàleg i negociació. El que és determinant és, en efecte, la participació i el procés de negociació entre els diferents stakeholders implicats en tot el procés va-loratiu, tant en la formulació de les preguntes d’avaluació com en la selecció de les eines i els instruments per a la seva realització i per a la in-terpretació dels descobriments. L’objectiu ara és, a més de la rendició de comptes, fomen-tar l’aprenentatge i la construcció de capacitats locals. La innovació principal que presenten respecte de les metodologies d’avaluació tradi-cionals és que prescindeixen d’indicadors pre-determinats a l’hora d’avaluar. Es tracta d’ava-luacions basades en resultats, en què l’accent no es posa tant en els objectius, les activitats i els indicadors propis del Marc Lògic, sinó que són enfocaments «des de baix». generalment s’utilitza una combinació de mètodes quantita-tius i qualitatius, que enriqueix l’anàlisi, mentre que la triangulació ajuda a incloure diferents perspectives i valors i a prevenir un determinis-me excessiu dels resultats de l’avaluació per part d’un grup d’interès específic. Les recoma-nacions i conclusions de l’avaluació es difonen entre tots els actors participants, cosa que en garanteix un seguiment més ampli.

L’avaluació participativa intenta, sobretot, garantir la diversitat de punts de vista. És un enfocament horitzontal d’avaluació que advoca

ma bàsic de les metodologies d’avaluació anteri-ors era que identificaven quins resultats s’havien aconseguit, però no com s’havien aconseguit.

dins d’aquest nou enfocament hi trobem l’avaluació participativa, l’avaluació apode-radora, l’anomenada avaluació responsiva i l’avaluació orientada a la presa de decisions

L’avaluació democràtica segons Segone (1998)

L’avaluació democràtica és una nova manera d’abordar la funció evaluativa, en la qual les me-tes són comprendre, aprendre, respondre davant de nosaltres mateixos i millorar els nostres propis acompliments, eficiències i eficàcies; i també és un procés d’apoderament, en el qual les persones interessades tenen ple control de la seva avalua-ció, en el qual elles són les avaluadores que plani-fiquen, efectuen, internalitzen i fan el seguiment dels resultats de l’avaluació, les lliçons apreses i les recomanacions. Una avaluació democràtica és un procés d’avaluació molt participatiu i apodera-dor, centrat en les persones, i que dóna a les per-sones interessades la capacitat de comprendre i dur a terme la seva pròpia autoavaluació per millo-rar les seves condicions de vida. En l’enfocament de drets aplicat al desenvolupament, la partici-pació és un dret bàsic, i l’apoderament, una es-tratègia guanyadora. La nostra hipòtesi és que l’avaluació democràtica és l’enfocament més efectiu per a l’avaluació i la millora dels programes de cooperació per al desenvolupament.

Font: «Evaluación democrática: Una propuesta para fortalecer la función de evaluación en agencias in-ternacionales de desarrollo», Documento de Traba-jo núm. 3, UNICEF, maig del 1998

166

tant, un nou conjunt de tècniques que es pu-guin utilitzar en certes etapes del cicle dels projectes, sinó més aviat el resultat d’un nou ambient en el qual es qüestionen moltes nor-mes relacionades amb la teoria i la planificació del desenvolupament, com són les relaciona-des amb qui inicia el seguiment i l’avaluació, qui el porta a terme, qui es beneficia dels re-sultats i com ho fa, i de quina manera es pot usar eficientment la informació recopilada.»

per la incorporació plena de tots els actors im-plicats en el programa o projecte (beneficiaris, donants, proveïdors, socis locals, etc.) en les di-ferents fases dels processos de desenvolupa-ment, des de la fase de disseny de l’avaluació fins a la recollida i l’anàlisi d’informació, l’elabo-ració de conclusions i recomanacions i la difusió dels resultats de l’avaluació. Es caracteritza per un caràcter empíric i eminentment pràctic, a més d’una especificitat segons el context local.

Les primeres experiències d’avaluació participa-tiva daten dels anys setanta. Malgrat això, no és fins a la dècada dels vuitanta que es comença a sistematitzar i difondre en l’àmbit del desenvolu-pament. Les raons que expliquen aquest auge es troben fonamentalment en el progressiu can-vi de rols i papers de les ongd, tant del nord com del Sud. Ignacio gallego (1999) destaca dues raons principals: d’una banda, la inclusió de la participació en l’avaluació com a prolonga-ció del model de desenvolupament centrat en la gent, segons el qual és necessari adaptar els dissenys i la gestió dels projectes a la població a la qual van dirigits; de l’altra, la reacció de les agències donants i altres institucions davant la necessitat de garantir la sostenibilitat dels pro-jectes, una vegada retirat el suport extern.

En aquest context, cal destacar l’opinió de Catherine Pasteur i Jutta Blauer:49 «El segui-ment i l’avaluació participativa no són, per

49 C. Pasteur i J. Blauer: «Seguimiento y evalua-ción participativos en América Latina», editat per PREVAL i FIdA.

els quatre principis de l’avaluació participativa

i. Principi de participació: Emfasitza la participa-ció de les parts implicades en els diferents mo-ments de l’avaluació (decisió, execució i ús de resultats).

ii. Principi d’aprenentatge: És una avaluació orientada a la pràctica i l’aprenentatge de l’acció. Es tracta d’una experiència educativa en què la gent es fa més conscient de les seves possibi-litats, la seva realitat social, les seves visions i perspectives del desenvolupament, etc.

iii. Principi de negociació: Es tracta d’un procés social per a la negociació entre les diferents ne-cessitats de la gent, les seves expectativas i les seves visions del món.

iv. Principi de flexibilitat: Els dissenys valoratius tenen flexibilitat perquès es puguin adaptar a cada realitat canviant i a les condicions del context.

Font: Estrella, M. i Gaventa, J. (1998): «Who Counts Reality? Participatory Monitoring and Evaluation: A Literature Review», IDS Working Papers núm. 70, Institute of Development Studies (IDS)

167

la feina en equip entre els stakeholders im-plicats. d’altra banda, atesa la diversitat de punts de vista, hi ha una probabilitat més gran d’atendre les qüestions rellevants, així com que s’apliquin les recomanacions fruit de l’avaluació.

Tanmateix, no tots els contextos són ade-quats per portar a terme avaluacions parti-cipatives. Els principals detractors argumen-ten que, atesa l’especificitat del context local que atenen, les seves descobertes i conclu-sions no són generalitzables i no es poden reproduir. d’altra banda, no sempre els be-neficiaris són els més ben informats sobre el desenvolupament d’un projecte (per exem-ple, si s’han d’avaluar qüestions en què es necessiten coneixements especialitzats), quan l’avaluador queda supeditat al tipus d’informació que aquests li subministrin. A més, lògicament, requereixen més inversió de temps i recursos que altres enfocaments i poden ser menys objectives i rigoroses (si hi ha interessos predominants o simplement millors capacitats oratòries entre alguns sta-keholders).

L’avaluació apoderadora posa l’accent en el procés d’enfortiment dels actors que hi participen i que s’esdevé quan s’avalua. Es tracta, per tant, de fer servir les tècniques i eines que promouen la millora de les capa-citats avaluatives dels beneficiaris. Tal com assenyala Fetterman (1996), el seu teòric principal, és un enfocament dissenyat per

El grau de participació de les avaluacions depèn de molts factors, que cal tenir en compte en cada cas a l’hora de decidir com cal dur-la a terme. Així doncs, en funció de qui demani l’avaluació (el donant, l’ongd o els mateixos beneficiaris), de qui la porti a terme (un equip extern, la mateixa ongd o els mateixos beneficiaris en una autoavalu-ació), de què es mesuri (els resultats acon-seguits enfront de la mesura del canvi i l’im-pacte produïts pel projecte o programa), de quin sigui l’objectiu de l’avaluació (la sim-ple rendició de comptes i el mesurament de l’eficàcia enfront de l’aprenentatge), de com es mesuri (mètodes únicament con-sultius enfront de mètodes col.laboratius i apoderadors; indicadors únicament quanti-tatius enfront d’indicadors qualitatius), etc., trobarem un ampli ventall d’enfocaments i metodologies. no totes les avaluacions du-tes a terme amb les bases socials són ne-cessàriament participatives. És evident que la majoria d’avaluacions inclouen les pobla-cions beneficiàries com a font d’informació, però aquí es tracta més aviat d’incloure els seus interessos i les seves necessitats al llarg de tot el procés de seguiment i avalua-ció, incloses l’elaboració de recomanacions i la difusió de la informació.

Els avantatges de les avaluacions participa-tives respecte d’altres models se centren en la promoció de l’aprenentatge (especi-alment les capacitats avaluatives de les poblacions beneficiàries) i la col.laboració i

168

A més, el model dóna per suposat que les intencions originals d’un programa poden canviar, per a la qual cosa cal que hi hagi una comunicació contínua entre l’avaluador i els stakeholders. Es tracta d’un mètode pluralista, interactiu, holístic, subjectiu i ori-entat al servei.

L’avaluació orientada a la presa de de-cisions (utilization-focused evaluation) par-teix de la premissa que les avaluacions s’han de jutjar pel seu grau d’utilitat i ús real. Quinn Patton (1997) va desenvolupar aquest enfocament, centrat en l’ús de les descobertes i recomanacions de l’avalua-ció, per millorar les polítiques i intervenci-ons de desenvolupament. És una avaluació que respon a preguntes específiques sobre un programa determinat de les persones responsables del programa, les respostes del qual poden influir en la presa de decisi-ons futura. Es tracta, per tant, de promoure l’aplicació pràctica de les recomanacions. També aquí és important la figura del faci-litador que treballa conjuntament amb els que han de fer servir els resultats de l’ava-luació per determinar el tipus d’avaluació que necessiten, amb la qual cosa s’utilitza el model, la teoria o el mètode més adequat a la situació concreta.

ajudar les persones a ajudar-se a elles matei-xes, amb la col.laboració d’un expert extern que actua principalment com a facilitador del procés; els participants són els que planegen l’avaluació i recullen les dades, les analitzen i les interpreten per treure’n conclusions i fer recomanacions. Es tracta, doncs, d’una avaluació caracteritzada per la formació, en què l’exercici valoratiu es converteix en una autoavaluació contínua destinada a millorar el propi exercici, a la vegada que promou la institucionalització dels processos i mètodes d’avaluació. Tot i que la frontera entre l’una i l’altra és ambigua, l’avaluació apoderadora fa un pas més enllà que l’avaluació participativa i posa el control del procés valoratiu en mans dels beneficiaris, cosa que n’aprofundeix el grau de participació. En l’avaluació participa-tiva, el control és encara en mans de l’ava-luador, mentre que en l’apoderadora aquest es converteix en un coach que acompanya i facilita el procés.

El concepte de l’avaluació responsiva (responsive evaluation) va ser creat per Ro-bert Stake (1986). L’autor aposta perquè en l’avaluació s’integrin les opinions de tots els que tenen un interès en el programa, per tal que l’avaluació sigui «sensible» als desitjos dels diferents destinataris. Es de-canta pels estudis valoratius de caràcter na-turalista, en els quals l’objectiu fonamental és la comprensió de la unicitat o singulari-tat del cas, i no la cerca de coneixements generalitzables ni l’elaboració de teories.

169

Ítems Enfocament democràtic de l’avaluació Avaluació externa

Procés Inclusiu, horitzontal, no jeràrquic Exclusiu, vertical, jeràrquic

Resultats de l’avaluacióInternalització del procés i

les pràctiques d’avaluació en l’organització

Informe final d’avaluació

Responsabilitat Stakeholders Avaluador extern

Control i presa de decisions Stakeholders Avaluador extern

ExpertiseEls stakeholders a través d’un

procés d’enfortiment i capacitacióAvaluador extern

Participació dels stakeholders Central Consulta

gènere, diversitat i desigualtat social; política econòmica, cultural i religiosa

Criteris centrals Apreciació

Estructura de l’informe d’avaluacióCurt, diferents informes per a

diferents actors i usosLlarg, un sol informe per a tots els

actors i usos

Estil de l’informe d’avaluacióActiu, escrit en primera o segona

personaPassiu, no compromès, escrit en

tercera persona

Contingut de l’informe d’avaluaciódescobriments seleccionats, descripció metodològica breu

Tots els descobriments, descripció metodològica detallada

Perspectiva de l’informe d’avaluacióAutor intern, centrat en la perspectiva

i el context dels interessatsAutor extern, perspectiva neutral

Adaptat per Segone (1998)

Si voleu més informació:• Ignacio Gallego: «El enfoque del monitoreo y la

evaluación participativa (MEP): batería de her-ramientas metodológicas», Instituto Universi-tario de desarrollo y Cooperación de la Univer-sidad Complutense de Madrid (IUdC-UCM). www.preval.org/documentos/00808.pdf

• Marco Segone: «Evaluación democrática», Documento de Trabajo núm. 3, oficina Re-gional per a l’Amèrica Llatina i el Carib, UnI-CEF, maig del 1998. www.preval.org/docu-mentos/00555.pdf

• Michael Quinn Patton: «Utilization-focused evaluation (U-FE) checklist», gener del 2002.

• www.wmich.edu/evalctr/checklists/ufe.pdf

170

luació. Així mateix, els rols dels actors im-plicats en l’avaluació poden anar des de ser-vir simplement de font d’informació, fins a participar molt activament en totes les fases de l’avaluació. d’altra banda, per a la selec-ció de l’equip avaluador, cal tenir en comp-te que ha d’estar format per avaluadors que tinguin habilitats i destreses pròpies per al treball participatiu. És convenient considerar les avaluacions mixtes, integrades per algun expert extern, un responsable de l’ongd, un membre de la contrapart local i un líder comunitari.

3. Determinar l’abast de l’avaluació S’ha de considerar l’abast de l’avaluació, així com el calendari i els detalls logístics i econòmics. És important definir bé el rol de l’equip avaluador extern (facilitador), però deixar més obert el relatiu a les preguntes i la metodologia que s’utilitzarà, ja que aques-tes han de ser resultat del procés participa-tiu. no obstant això, tal com indica Larrú, «És important prioritzar algun dels criteris clàssics d’avaluació, ja que generalment no es pot —i menys quan es comença— inclou-re tota la informació que es necessita per analitzar a fons els cinc criteris. És important que les primeres avaluacions siguin genero-ses en el temps emprat sobre el terreny i en els diàlegs entre tots els actors implicats.

1. Decidir si és apropiat desenvolupar una avaluació participativaCom hem indicat anteriorment, el sistema participatiu no és sempre la millor manera d’enfocar una avaluació. Les avaluacions par-ticipatives són especialment útils si es vo-len resoldre qüestions relatives a dificultats d’implementació del programa o projecte, o conèixer-ne els efectes per als beneficiaris o els seus punts de vista. En canvi, altres en-focaments més tradicionals funcionen millor quan és necessari un judici extern o informa-ció i coneixements especialitzats que només un expert pot aportar. Alvira (1991) assenya-la, a més, quatre supòsits per dur a terme una avaluació autènticament participativa: assegurar-se que els socis beneficiaris volen avaluar i aprendre, que poden fer-ho (capaci-tació i temps), que estan honestament inte-ressats en l’exercici i que la seva participació els motivarà per complir les recomanacions a les quals arribin. Sense aquests requisits, probablement l’avaluació participativa no tin-drà èxit.

2. Determinar el grau de participacióQuins grups hi participaran i quins rols tin-dran? La participació pot tenir un abast di-ferent, pot incloure tots els actors d’un pro-grama o només un o dos grups, depenent de les característiques i l’objectiu de l’ava-


guia per al disseny i la implementació d’una avaluació participativa

171

6. Analitzar les dades i arribar a un consens sobre els resultats L’anàlisi i la interpretació dels resultats rea-litzats conjuntament ajuden els participants a construir un cos comú de coneixement sobre el projecte o programa. S’acorden les desco-bertes, les conclusions i les recomanacions a través d’un procés de negociació.

7. Preparar un pla d’accióS’elabora un pla d’acció per millorar l’acompli-ment del programa, i els participants en l’ava-luació es converteixen en agents de canvi, responsables ara d’aplicar les lliçons apreses durant el procés d’avaluació.

8. La difusió dels resultatsno s’ha d’oblidar la participació i l’apode-rament en la fase de retroalimentació. Per donar suport a aquesta fase de l’avaluació, s’ha d’exigir a l’equip avaluador que oferei-xi diversos resums executius, segons els interessos manifestats per cada agent invo-lucrat, com proposa el CAd (2001). A més, s’han d’organitzar seminaris de presentació de les conclusions i recomanacions per a tots els agents, inclosos els beneficiaris de l’acció avaluada. També és útil recollir les observacions de cada actor implicat sobre les recomanacions i la seva implementació, amb la qual cosa es genera un mecanisme de control participatiu.

S’ha de plantejar com un exercici d’“apre-nentatge en la pràctica” (learning by doing), amb fruits de formació i capacitació en tots els membres de l’equip avaluador.»

4. Reunió de planificació de l’equip d’avaluaciónormalment, l’avaluació participativa co-mença amb un taller que reuneix el facilita-dor i els participants per generar consens sobre l’objectiu de l’avaluació: refinar l’àmbit de treball, aclarir els rols i les responsabili-tats tant dels participants com del facilitador i revisar el calendari per a l’avaluació, així com els detalls logístics, i formar els partici-pants en la recollida i l’anàlisi de les dades. Ajudats pel facilitador, els participants han d’identificar les preguntes d’avaluació a les quals volen donar resposta i, segons com si-guin aquestes preguntes, els mètodes i ins-truments més adequats.

5. Portar a terme l’avaluaciógeneralment mitjançant tècniques de di-agnòstic ràpid, atès que són més simples i menys costoses que les tècniques d’enques-ta més tradicionals. Ignacio gallego ha recollit moltes d’aquestes tècniques a «El enfoque del monitoreo y la evaluación participativa (MEP): batería de herramientas metodológi-cas», que es poden consultar a www.preval.org/documentos/00808.pdf

172

Segons Segone, el procés d’un enfocament democràtic d’avaluació ha d’estar compost de les fases següents:

A. Anàlisi de l’avaluabilitat. Es tracta de selec-cionar els programes que han de ser avaluats per garantir la rellevància i la utilitat de l’avaluació. newscomer, Hatry i Wholey (1994) han desenvo-lupat un marc de preguntes que es poden utilitzar per determinar la necessitat d’avaluar un programa determinat o no:- El programa és prou rellevant i significatiu per merèixer de ser avaluat?

- Els objectius del programa estan clarament defi-nits i són realistes i mesurables?

- Es pot fer l’avaluació a temps perquè els desco-briments i les recomanacions siguin útils i utilit-zables?

- Els resultats de l’avaluació poden influir en les de-cisions sobre el programa?

- El cost de l’avaluació és compensat pels possibles beneficis que pot comportar la millora del progra-ma?

B. Anàlisi dels processos de decisió i l’ús de l’avaluació, per determinar:- Qui són els actors clau que necessiten informació per resoldre certs problemes.

- Qui és més probable que utilitzi els descobriments i posi en pràctica les recomanacions de l’avaluació.

Sovint, els actors clau són els encarregats del desenvolupament del programa sobre el terreny. En quasevol cas, el factor personal és clau per garantir l’ús dels descobriments de l’avaluació, identificant els individus que hi estan real-ment compromesos. Cal tener en compte tant l’estructura organizativa (lideratge i autoridad) com el factor personal (interès, entusiasme i compromís amb l’avaluació).

C. Reforçament per dissenyar i implementar l’avaluació. Abans d’assolir un consens en el dis-seny de l’avaluació, l’avaluador extern ha d’actuar com a formador, construint la capacitat tècnica ne-cessària entre els participants i creant un clima de confiança i positivisme.

D. Disseny de l’avaluació i identificació del pro-cés d’apoderament. Les persones estratègiques identificades per dur a terme l’avaluació han d’estar, com és lògic, activament implicades en tot el procés des del principi. L’avaluador extern ha de generar un procés perquè els stakeholders formulin les seves pròpies preguntes d’avaluació. Per al disseny, s’han de tenir en compte els aspectes següents (UnICEF, 1991): - Quin és l’objectiu de l’avaluació i qui en farà servir els resultats?

- En quin moment del cicle de vida del programa es fa l’avaluació?

- Quin és l’àmbit i el focus de l’avaluació i de les preguntes que s’han de respondre?

- Qui és responsable de desenvolupar i implemen-tar les recomanacions de l’avaluació?

- Com es recollen les dades necessàries? És a dir, quines metodologies i tècniques s’apliquen?

- Quins recursos (financers, humans, materials, logístics, etc.) es necessiten per dur a terme l’avaluació?

- Quin és el raonament lògic per interpretar els des-cobriments de l’avaluació?

Atès que es tracta d’una avaluació que vol respondre a una realitat i una situació específiques, l’aplicació de models generals no garanteix l’apropiació i l’adequació de l’avaluació.

E. Recol.lecció i procesament de dades. La im-plementació del pla d’avaluació és la fase més complicada, en què l’avaluador extern ha de formar

173

els participants en les metodologies i tècniques més adequades per recollir i processar les dades, tot fent que se sentin confiats i capaços de portar l’avaluació a bon terme.

F. Análisi de la informació i elaboració de l’informe. La interpretació de les dades és una fase clau en el procés valoratiu. Els indicadors poden te-nir un significat positiu o negatiu, segons el marc d’interpretació i el context polític, econòmic, cul-tural, humà, etc. Aquest fet és el que determina la importància que tots els stakeholders participin acti-vament en aquesta fase, cosa que enriqueix l’anàlisi de la informació i millora l’apropiació dels resultats, amb la qual cosa s’assegura l’aplicació de les reco-manacions.

G. Difusió i ús dels descobriments i les recoma-nacions de l’avaluació. Són dues fases diferencia-

des i cal tenir en compte que la difusió àmplia dels resultats de l’avaluació no en garanteix l’ús. La difu-sió als individus adequats, els que puguin utilizar-los per a la millora de la intervenció, és crucial. Per això és important difondre breus informes que satisfacin les necessitats informatives específiques de cada actor. Aquest informe ha de presentar els principals descobriments i recomanacions i centrar-se, sobre-tot, en les recomanacions orientades a l’acció.

H. Institucionalització del procés i la pràctica de l’avaluació. Fomentant que aquesta s’inclogui en el cicle de vida del projecte, donant lloc a una ava-luació continuada del procés de desenvolupament.

Fuente: Segone, M. (2006): «Democratic Approach to Evaluation. New trends in Development Evalua-tion», UNICEF

2.3. Com: nous instruments i metodologies per al seguiment i l’avaluació

Com hem vist en el diagnòstic del capítol 2, la majoria d’ONGD espanyoles utilitzen l’En-focament del Marc Lògic per al seguiment i l’avaluació dels seus projectes i progra-mes. no obstant això, fa anys que aquest ins-

trument, creat als anys setanta per l’Agència nord-americana de Cooperació Internacional al desenvolupament (USAId), es posa en dubte.

L’Enfocament del Marc Lògic (EML) o Logi-cal Framework Approach (LFA) i el mètode de Planificació orientada per objectius o Ziel orientierte Projekt Planung (ZoPP) —creat per l’Agència Alemanya de Cooperació Tècni-ca (gTZ) al principi dels anys vuitanta i que vol ser una ampliació de l’EML— són dos mèto-des àmpliament utilitzats a Europa, que tenen els seus orígens en la necessitat d’establir pautes per a la planificació dels projectes de desenvolupament, lligant els mitjans amb els objectius a través d’inputs, activitats planeja-


Com: mètodes i enfocaments d’avaluació de quarta

generació


174

aplicació de l’EML a tot tipus d’intervencions encara no permet centrar adequadament els esforços en com es poden assolir els objec-tius i impactes desitjats, sinó que insisteix, per exemple, en un desglossament exagerat de les activitats i les previsions pressupostàri-es, suposant lògiques lineals de vegades poc realistes. Amb això, els actors espanyols no estan fora del consens europeu, però sí que sembla oportú tenir en compte la importància de la metodologia de la planificació i trobar opcions més enllà de l’EML o, almenys, fo-mentar-ne la flexibilització. deixant de ban-da un necessari debat tècnic dins del sector sobre les diferents opcions, i atesa la seva influència en els processos de treball de les ongd espanyoles, convé que els donants estiguin en condicions de redefinir la seva oferta de finançament, orientant-la cap als objectius i l’impacte que busquen, i guiar ade-quadament la demanda cap a metodologies més coherents amb les realitats que troben en les zones d’intervenció.»

En efecte, l’EML, a més de ser el mètode utilitzat per pràcticament totes les agències i tots els actors de la cooperació, és el que es demana en els formularis de la majoria de do-nants, la qual cosa ha convertit el seu ús gaire-bé en una obligació. En molts casos, s’elabora de manera unilateral des de l’ongd del nord, amb poca participació de la resta dels actors del programa i amb un disseny més aviat dèbil o poc realista d’indicadors i fonts de verifica-ció. Al final, l’objectiu es emplenar la matriu,

des i resultats esperats. Es tracta, per tant, de mètodes de planificació dels projectes, però que han estat àmpliament utilitzats tam-bé per al seguiment i l’avaluació posterior, ja que estableixen objectius concrets i indica-dors mesurables que permeten determinar-ne el grau d’avançament.

Les principals crítiques a l’EML fan referèn-cia a la seva rigidesa, especialment si s’ab-solutitzen els objectius, sense permetre fer revisions regulars del projecte que l’ajustin a la realitat canviant. S’atén en excés als objectius fixats, sense tenir en compte que el projecte pot generar beneficis no previstos inicialment i que s’haurien d’integrar en el seguiment i l’avaluació. A més, en el marc actual de la cooperació al desenvolupament, i atesos els canvis en les característiques dels projectes que es van implementant —on els objectius són més processuals i menys concrets—, hi ha una orientació creixent cap als resultats i els objectius, cosa que implica també més flexibi-litat pel que fa als anomenats «inputs».

Tal com indica Schulz,50 «Enfront de les con-dicions volàtils en les quals es promou el de-senvolupament humà, sembla adequat dispo-sar d’un model de planificació adaptable als múltiples canvis possibles. Això és especial-ment interessant per a programes i estratègi-es a mitjan i llarg termini. A Espanya, la rígida

50 nils-Sjard Schulz: «El reto de la cooperación española: Hacia un modelo endógeno de evalua-ción», Foro Aod, FRIdE, 2006.

175

perfil acadèmic. A més, es tracta d’una lògica occidentalista, en què la relació causa-efecte pot resultar rígida en algunes cultures. La rea-litat social és més sistèmica que de relacions verticals, i els problemes es troben interrela-cionats entre ells d’una manera complexa.»51

Així, malgrat que l’EML es reconeix com un ele-ment important en la gpRd (gestió per resul-tats), atès que una definició clara dels resultats ofereix una millor meta per al canvi, és conveni-ent, en cada cas, analitzar quin és l’instrument o el conjunt d’instruments més adequats.

Els principals teòrics estan d’acord a afirmar que la selecció d’una combinació i una se-qüència adequades d’eines i mètodes depèn en gran part del fet que tinguem clar quin és el nostre propòsit i el focus de l’avaluació i que dissenyem el procés valoratiu en un for-mat apropiat per al context, al projecte en qüestió i a les organitzacions involucrades. La capacitat per desenvolupar combinacions i seqüències metodològiques apropiades i la capacitat per adaptar-se i innovar a mesura que l’estudi avança semblen tan importants com el coneixement i les destreses requerits per a cada mètode individual.52

51 L. gonzález: «La evaluación ex-post o de im-pacto: Un reto para la gestión de proyectos de co-operación internacional al desarrollo», Cuadernos de Trabajo de Hegoa, setembre del 2000.

52 InTRAC: «Seguimiento y evaluación del empo-deramiento», document de consulta, novembre del 1999.

sigui com sigui. Una altra de les seves limita-cions és la relativa al mesurament d’aspectes més qualitatius, ja que fa molt d’èmfasi en el progrés quantitatiu. Per últim, tal com asse-nyala gonzález, L. (2000), «L’ús del marc, sen-se complementar-lo o combinar-lo amb altres tècniques més senzilles, resulta complex per a organitzacions comunitàries o grups de baix

Tal com s’assenyala a la Declaració de París (març del 2005):

La gestió orientada a la consecució de resultats (gpRd) significa administrar i implementar l’ajuda amb vista als resultats desitjats i utilitzar la infor-mació per millorar la presa de decisions. La gpRd proporciona un marc coherent per a l’efectivitat en el desenvolupament, en què la informació de l’execució es fa servir per millorar la presa de deci-sions i inclou eines pràctiques per a la planificació estratègica, la gestió de riscs, la monitorització del progrés i l’avaluació dels resultats.

Els principis de la gpRd, acordats el 2004 a la Se-gona Taula Rodona sobre gestió per a resultats de desenvolupament, són: • Centrar el diàleg en els resultats en totes les fases

del procés de desenvolupament.• Alinear la programació, la monitorització i l’avaluació

amb els resultats.• Mantenir el mesurament i la informació senzills.• Gestionar per a, no per, resultats. • Usar la informació de resultats per aprendre i per a

la presa de decisions.

Font: «Principios de GpRD en acción: Libro de con-sulta de buenas prácticas recientemente identifica-das», OCDE, 2006

176

l’EML, i busquen emfasitzar la participació de la població beneficiària. Són els mètodes que, tal com hem assenyalat anteriorment, s’utilit-zen en les avaluacions amb un enfocament democràtic —diagnòstic rural ràpid (rural ra-pid appraisal o RRA) i diagnòstic rural partici-patiu (participatory rural appraisal o PRA)— i actualment englobats en el terme participa-tory learning and action (PLA) i altres mèto-des que recull Chambers (1997). Així, l’EML pot proporcionar un marc general per a la pla-nificació del projecte, mentre que aquestes noves metodologies ajuden a entendre els canvis ocorreguts, a integrar diversos punts de vista i a promoure la participació.

És crucial, per tant, determinar quins mèto-des s’utilitzaran. La decisió depèn de l’en-focament d’avaluació que s’estigui utilitzant (només per rendir comptes o per aprendre, apoderadora i participativa, o no), així com dels recursos econòmics i de temps disponi-bles per dur-la a terme.

gonzález (2000) advoca per una proposta fle-xible que combini metodologies quantitatives i qualitatives, que integri diferents corrents i enfocaments d’avaluació, amb l’objectiu de dissenyar la més adequada al context espe-cífic del país on es desenvolupi i a la seva cultura de gestió, així com a les caracterís-tiques del programa que es vulgui avaluar. d’aquesta manera s’aconsegueix una mirada més àmplia i plural sobre una realitat comple-xa, i les persones responsables de l’avaluació són les encarregades de triar el model òptim, ja que no hi ha un model universal, genera-litzable a tots els casos. La disponibilitat de recursos humans, tècnics i econòmics, així com la metodologia desenvolupada al llarg de la vida del projecte, tant en la planificació com en el seguiment, són factors que determinen l’elecció del model.

Des del començament dels anys vuitanta han sorgit molts mètodes d’investigació que intenten complementar o substituir

178

Programa integral de desenvolupament per el districte de Kebri Beyah.Comité internacional de Rescate España. Etiopía 2007

179

Tres idees caracteritzen un model integrador d’avaluació segons González, L. (2002):

1. La conformació d’un equip d’avaluació. Sempre que sigui possible, han de conformar l’equip, almenys, tres persones: una persona interna de l’organització executo-ra que conegui bé el projecte i sigui responsable del seu seguiment; si es disposa de recursos, un consultor extern (nacional o internacional) coneixedor d’eines qualificades i que aporti una visió objectiva i externa al procés; i, final-ment, algun representant dels beneficiaris, bé de la comu-nitat o bé d’organitzacions comunitàries que hi estiguin vinculades. Qualitats com capacitat de treballar en equip, comunicació, diàleg, enteniment, comprensió i empatia amb els altres membres són vitals per al correcte des-envolupament de l’avaluació. Atès que les diferents per-sones implicades inicialment no presenten els mateixos interessos ni les mateixes expectatives sobre el procés d’avaluació, sorgirà un procés de negociació i concerta-ció interinstitucional entre tots els stakeholders implicats. Malgrat la dificultat que pot ocasionar el treball en equip, és important tenir en compte que la participació de totes les parts, si s’afronten les dificultats i se superen els con-flictes, garanteix una avaluació productiva i orientada a la presa de decisions futures.

2. L’articulació de diverses metodologies per a l’ava-luació. La proposta global que es planteja és que es facin les avaluacions ex-post segons la metodologia predominant al llarg del projecte, des de la seva planifi-cació, i utilitzant eines pròpies de la institució, si en té. El que es pretén és aprofitar les potencialitats de cada perspectiva que, articulades de manera flexible, han de permetre minimitzar les debilitats pròpies de l’aplicació de cada model per separat. La combinació d’altres metodologies amb el Marc Lògic permet gestionar amb una visió més àmplia i complexa de la realitat. En aquest sentit, heus aquí algunes propostes: a. no considerar l’enfocament del Marc Lògic como un fi

en ell mateix i com a quelcom imposat des de l’exterior, sinó més aviat com una proposta que pot ajudar a estruc-turar la proposta valorativa.

b. Posar èmfasi en l’aspecte participatiu, afavorint la troba-da i el diàleg amb totes les parts implicades de manera participativa.

c. Capacitar l’equip avaluador sobre la metodologia que s’ha d’utilizar perquè ho faci amb soltesa i flexibilitat.

d. Incloure a la matriu de planificació indicadors qualitatius i d’impacte que permetin observar els efectes reals en els hàbits i les condicions de vida de les persones bene-ficiades pel projecte.

e. Concedir importància a l’anàlisi dels supòsits o factors externs que permeten estar alerta i posar mesures per a la reformulació, tenint així més garanties d’èxit del projecte.

f. Incloure metodologies de l’economia per al mesurament de l’eficiència i l’avaluació financera del projecte.

g. Combinar eines participatives en l’avaluació que per-metin verificar l’abast dels indicadors qualitatius i me-surar components com ara l’eficàcia, la sostenibilitat i l’impacte, amb caràcter eminentment qualitatiu.

3. La triangulació de mètodes mitjançant combina-ció de tècniques quantitatives i qualitatives d’obtenció d’informació. S’han d’evitar els debats epistemològics sobre la impossibilitat de trobada entre el paradigma po-sitivista o l’hermenèutic sobre l’observació de la realidad, que són els que donen vida a la utilització de la metodo-logia quantitativa i qualitativa; i recórrer, més aviat, a la lògica «en ús» que proposa Elsy Bonilla (1997), en què es poden combinar efectivament en la pràctica investigativa tècniques de tipus quantitatiu i qualitatiu. És el que es co-neix com la «triangulació metodològica». Les tècniques quantitatives primàries inclouen mètodes com els qües-tionaris (autoemplenat), les entrevistes estructurades (en-questes) o el mesurament quantificable (indicadors, esta-dístiques, escales); mentre que les qualitatives inclouen mètodes com l’entrevista oberta a informadors clau, els grups de discussió, l’observació participant, etc.

Resumit de González, L.: «La evaluación ex-post o de im-pacto: Un reto para la gestión de proyectos de cooperación internacional al desarrollo», Cuadernos de Trabajo de He-goa, setembre del 2000

180

Les principals característiques d’aquests mo-dels són tres: 1. La triangulació: La recollida d’informació es

fa per diferents mitjans, per assegurar-ne l’objectivitat, i mitjançant un grup multidis-ciplinari.

2. Informalitat i flexibilitat: Els mètodes d’in-vestigació són semiestructurats i perme-ten de ser readaptats a cada realitat.

3. Amb la comunitat: La majoria d’activitats avaluatives es duen a terme conjuntament amb els membres de la comunitat.

Participatory learning and action (PLA) és el terme que s’utilitza per agrupar un ampli con-junt d’enfocaments i metodologies que tenen en comú la participació dels beneficiaris en el procés d’aprenentatge sobre les seves ne-cessitats i oportunitats, i de les accions que es necessita emprendre. S’utilitzen mètodes participatius i visuals i tècniques d’entrevis-ta, per tal d’aconseguir, sobretot, facilitar el procés d’anàlisi i aprenentatge col.lectiu. És un enfocament que es pot utilitzar tant en la fase de planificació com en la de seguiment i avaluació dels projectes.


Tot seguit detallem alguns dels mètodes que s’utilitzen més en els nous enfocaments valoratius:

Participatory learning and action:

Diagnòstic rural participatiu - DRP (participatory rural appraisal - PRA) i diagnòstic rural ràpid - DRR (rapid rural appraisal - RRA)

Tècniques utilitzades pel PRA-DRP

Anàlisi visualMètodes d’entrevista i mostreig

Dinàmiques de grup

- Mapes- Anàlisi fotogràfic d’àrees- Passeigs grupals- Calendaris d’estacions- Perfils d’activitats- Perfils històrics i anàlisis de tendències- Cronologies i línies temporals- Matriu de puntuacions i rànquing de preferències- diagrama de Venn i treball en xarxa

- Entrevista semiestructurada- observació directa- grups focalitzats- Informadors clau- Històries de vida- Mapes socials

- grups contractuals- Sessions de revisió- guies d’entrevista- Redacció d’informes ràpids- Feina compartida- Presentacions compartides- diaris i notes

181


• Resources Centers for Participatory Lear-ning and Action: www.rcpla.org/

Font: Traduït de Cornwall, A., Guijt, I. i Welbourn, A.(1993): «Aknowledging process. Challenges for agricultural research and extension methodology», Discussion Paper núm. 333, Institute of Development Studies, Brighton

Alguns dels mètodes més utilitzats al DRP i el DRR:

Entrevistes a informadors clau. Consisteix a entrevistar entre 15 i 35 persones seleccionades pel seu coneixe-ment i la seva experiència en el tema que cal tractar. Es desenvolupen entrevistes semiestructurades, en profun-ditat i de caràcter qualitatiu, amb preguntes obertes.

Focus groups. grups de 8 a 12 participants seleccionats discuteixen lliurement temàtiques i experiències. El mo-derador presenta el tema i intenta promoure la participació de tothom. És important que els focus groups siguin homogenis sempre que es pugui, amb participants que tinguin una experiència semblant.

Entrevistes a grups comunitaris. Tenen lloc en trobades públiques obertes a tots els membres comunitaris, en què interactuen els participants i l’entrevistador, que és qui dirigeix la trobada fent preguntes seguint un qüestionari preparat prèviament.

Observació directa. Els observadors recullen informació sobre el que veuen i senten al lloc del projecte. La infor-mació pot ser sobre les característiques físiques de l’entorn en el qual s’inscriu el projecte o bé sobre les activitats, els processos o les discussions que es duen a terme.

Minienquestes. Es basen generalment en un qüestionari estructurat amb un nombre limitat de preguntes tan-cades. Es plantegen a entre 25 i 50 persones, seleccionades mitjançant tècniques estadístiques o escollides intencionadament entre els stakeholders. És l’únic mètode que aporta dades quantitatives, amb l’avantatge que es poden recollir i analitzar en pocs dies.

Estudi de casos. Recullen anècdotes que il.lustren els problemes i resultats d’un projecte o programa. Relaten incidents o fets concrets, moltes vegades des de l’experiència d’un individu concret.

Village imaging. grups de beneficiaris dibuixen mapes o diagrames per identificar i visualitzar problemes i solu-cions.

182

tarà o generarà el programa o projecte. En aquesta etapa s’han de respondre pregun-tes com: per què? (en què consisteix la vi-sió a la qual el programa vol contribuir?); qui? (qui són els involucrats directes del programa?); què? (en què consisteixen els canvis que es pretenen generar?); com? (com aconseguirà el programa contribuir al procés de canvi?).

2. Seguiment d’abasts i acompliment: Pro-porciona el marc de treball per a un pro-cés d’avaluació i seguiment permanent que permet auditar de manera contínua el programa o projecte (per descomptat, amb l’objectiu de verificar el compliment dels abasts). Es tracta d’una autoavaluació sistematitzada i estandarditzada, en la qual es disposa d’eines per obtenir dades sobre els elements clau visualitzats durant el dis-seny intencional.

3. Planificació de l’avaluació: Permet obtenir una visió clara dels elements prioritaris que han de ser objecte d’avaluació. Podríem dir que estableix les fites sense les quals, si no sortien bé, el programa o projecte no es podria catalogar com a reeixit.

Es tracta d’una metodologia adequada a la complexitat i al llarg termini, associats als programes de desenvolupament, en què els efectes estan interrelacionats i no es poden segregar fàcilment uns dels altres.

Proposat pel canadenc Centre Internacio-nal d’Estudis sobre el desenvolupament, la metodologia del mapatge d’abast representa una de les eines més debatudes per renovar els procediments de planificació en l’ajuda al desenvolupament.

El mapatge d’abast reconeix la complexitat dels processos de desenvolupament i es concentra explícitament en l’aprenentatge, establint una visió de la millora en l’àmbit social, mediambiental i humà a la qual el pro-grama o projecte ha contribuït. generalment comença amb el desenvolupament d’un ta-ller amb un facilitador per dissenyar el siste-ma de seguiment, al qual segueixen diversos tallers d’autoavaluació per fer el seguiment dels canvis i afinar les estratègies, amb estu-dis periòdics d’avaluació, si són necessaris. La novetat és que s’allunya del mesurament de l’impacte del programa (per exemple, re-ducció de la pobresa, etc.) per centrar-se a detectar els canvis de comportament. Els resultats es defineixen com a canvis en els comportaments, les relacions, les activitats i les accions dels individus, els grups i les organitzacions que treballen directament en el programa.

Consta de tres etapes:1. disseny intencional: Estableix un consens

sobre els canvis, a nivell general, que apor-

Mapatge d’abast (outcome mapping)

183

solament en la falta d’ingressos, sinó també en la falta d’accés a una sèrie de serveis bà-sics (entre els quals, educació, salut, habi-tatge, etc.) i la poca capacitat de participació cívica activa. El MdB consolida tots aquests indicadors en una sola eina. La forma cònica del Marc representa la dimensió de l’impacte del desenvolupament de base, des de la per-sona o família fins a la comunitat o la societat en general, passant per l’organització: els tres nIVELLS del Marc.


• Quins són els indicadors del MDB? http://www.iaf.gov/grants/grassroots_dev_fra-mework_text_sp.asp?grass=3


• Outcome Mapping: Building Learning and Reflection into Development Programs: http://www.idrc.ca/en/ev-9330-201-1-do_ToPIC.html

Marc de desenvolupament de base (MDB)

La Fundación Interamericana va crear el Marc de desenvolupament de Base (MdB) per me-surar els resultats i impactes dels projectes als quals donava suport la fundació. El MdB és d’utilitat per al donatari i per el donant, ja que els proporciona els mitjans per detallar els objectius del projecte i els permet infor-mar sobre els èxits, els punts forts i les defi-ciències d’un projecte.

Com funciona?La premissa del MdB és que el desenvolu-pament de base produeix resultats en tres ni-vells i que hi ha importants resultats tangibles i intangibles que han de ser considerats. En una empresa en el sector privat, els guanys són la meta final. En el desenvolupament de base, les metes d’un projecte són els benefi-cis materials i la millora de la qualitat de vida de la població pobra. La pobresa no consisteix

184

- Evidència quantitativa de l’extensió dels re-sultats emergents.

- Evidència de l’assoliment dels resultats pre-establerts (si aquests haguessin estat ex-pressats).

- Evidència de l’experiència «mitjana» dels/de les participants (o dels subgrups de partici-pants), així com dels resultats excepcionals.

- Informació sobre els punts de vista dels/de les no participants i altres «víctimes» del programa.

- Coneixement millorat sobre la lògica de la intervenció del programa.

- Evidència de si s’han assolit els resultats buscats, en quines situacions i per què.


• Davies, R. i Dart, J.: The ‘most significant change’ (MSC) technique. A guide to its use, Regne Unit, abril del 2005. www.man-de.co.uk/docs/MSCguide.htm

• Es poden trobar els capítols 7-9 traduïts al caste-llà a l’enllaç següent: http://www.impactallian-ce.org/ev_es.php?Id=37459_201&Id2=do_

PRInTPAgE

El CMS es podria considerar com una forma de seguiment i avaluació participativa. no obs-tant això, el CMS es diferencia de moltes altres formes perquè les dades del CMS, en relació amb els canvis sobre els quals s’informa, són relats escrits. A més, el CMS utilitza les es-tructures de poder organitzatives existents, en comptes d’intentar arribar a conclusions fent servir processos més apropiats i igualitaris.

El CMS té diferents punts forts i dèbils res-pecte dels mètodes convencionals de segui-ment i avaluació, de manera que és una bona eina per combinar-la amb altres mètodes. Els enfocaments d’avaluació que completarien el CMS podrien incloure:

Canvi més significatiu - CMS (most significant change – MSC)

Preguntes de la metodologia del CMS

1. Explica’m com i quan et vas implicar en el pro-grama.

2. Explica’m una història que exemplifiqui, des del teu punt de vista, el canvi més significatiu que ha produït el programa.

3. Per què és significativa la història per a tu?4. Com ha contribuït el programa en aquesta his-

tòria?

185

4. ConclusionsCap a una cultura valorativa orientada a l’aprenentatge

186

que comença necessàriament amb l’autocrí-tica i la reflexió entorn del paper assumit en el passat i el paper que fidedignament es pot assumir en els nous escenaris que es van perfilant, no es pot fer convenientment si les organitzacions no disposen de sistemes i capacitats renovats de seguiment i avalua-ció, adequats a les noves exigències de l’en-torn, que defugin les concepcions «matemà-tiques» del desenvolupament i que integrin nocions com el canvi social i la possibilitat d’experimentació i d’error, atents a la duali-tat de públics objectius de les organitzacions i que permetin, a més, capitalitzar els aprenen-tatges. Tal com advoquen Fowler (1997) o Sarah Lister (2004), entre d’altres experts, els bons resultats constitueixen la primera baula de la cadena de la legitimitat. Per això és im-portant desenvolupar sistemes de seguiment i avaluació que permetin a les organitzacions no sols obtenir un mesurament més ampli i millor dels seus resultats —especialment en matèria de l’impacte de les seves intervenci-ons— i una rendició de comptes més àmplia i millor als principals stakeholders de l’organit-

Sens dubte, les ongd estan cridades a as-sumir les seves responsabilitats en el nou or-dre global que es va delimitant i a redefinir, en definitiva, els principis que fonamenten la legitimitat de la seva acció. Es tracta, com assenyala la comunitat d’experts i estudiosos del sector, i com apuntàvem al primer capítol de la publicació, de ser capaços de «demos-trar a la pràctica» l’especificitat i el valor afegit de la cooperació liderada i protagonitzada per les ongd; davant d’altres modalitats impul-sades des dels governs i agències oficials. Tal com ho formula Rajesh Tandon (2000), «His-tòricament, les ongd ocupaven el “nínxol” d’avançar noves pràctiques i promoure solu-cions creatives i innovadores. El nou mil.lenni presenta una sèrie d’oportunitats i de reptes qualitativament molt diferents. La redefinició i el reposicionament estratègic són necessa-ris en aquesta nova conjuntura, i no tan sols de manera individual, sinó per al conjunt del sector.»

La nostra proposta és que aquest exercici de responsabilització, redefinició i relegitimació,

187

seus valors, els sistemes de seguiment i avaluació com a elements centrals del seu funcionament, que són clau per al foment de l’anàlisi que l’aprenentatge organitzatiu requereix. En paraules d’Eade i Ligteringen (2001), «L’anàlisi no és bona sense compro-mís, però el compromís per ell mateix no és suficient per assegurar que les ongd actuen amb la integritat i intel.ligència que requereix l’entorn cada cop més complex en què estan immerses». Fins i tot les orga-nitzacions que han internalitzat el significat i comprenen l’abast d’aquests sistemes en una lògica d’aprenentatge de l’organització no acostumen a disposar de prou recursos que els permetin de complir els objectius de SiA d’una manera satisfactòria i/o no dis-posen d’incentius clars, per part de l’entorn institucional en el qual s’inscriuen, per dedi-car a aquests recursos.

Al llarg de les pàgines d’aquesta publicació, i particularment en el capítol 3, centrat en les noves tendències internacionals en matèria de seguiment i avaluació —que hem estruc-turat al voltant de quatre qüestions fonamen-tals: per què, per a qui, què i com es fa el seguiment i s’avalua—, hem procurat aportar algunes pistes per aprofundir en la reflexió i millorar la pràctica de les organitzacions. Ara que som a les pàgines finals, com a missatge central, ens agradaria emfasitzar la dimensió de l’aprenentatge, aportant algunes idees per tal que s’instauri progressivament en les or-ganitzacions espanyoles. En aquest sentit,

zació —començant pels usuaris i beneficiaris dels seus serveis i la comunitat de donants—, sinó, i això encara és més important, l’establi-ment progressiu d’una cultura d’aprenentat-ge organitzatiu, que integri l’error com a part del procés d’aprenentatge.

Seguir i avaluar, com a condició sine qua non per a l’aprenentatge, es converteix així en un repte que les ongd han d’afrontar de ma-nera immediata; un repte que, malgrat les dificultats que comporta a vegades conjugar rendició de comptes i aprenentatge, és més fàcilment assumible en el nou entorn que es dibuixa, ja que és un entorn que fa de l’anà-lisi crítica de les intervencions una obligació gairebé inevitable i en el qual les ongd han d’afrontar un increment significatiu de la de-manda de transparència; un entorn que, a més, obliga les ongd a reexaminar les seves relacions de partenariat i redefinir els equili-bris de poder dins d’elles mateixes, i els plan-teja la necessitat d’assumir nous rols que han d’aprendre; però que, en definitiva, brinda una oportunitat clara, un estímul evident per treballar en la superació d’alguns dels princi-pals frens a l’aprenentatge organitzatiu.

Fixant la mirada ara en el context espanyol, com hem analitzat al llarg del capítol 2, el cert és que es tracta encara, per a la gran majo-ria d’organitzacions, d’un repte pendent. En efecte, encara són poques les organitzaci-ons espanyoles que han internalitzat l’abast i la necessitat d’integrar, juntament amb els

188

zació vol continuar sent rellevant i efectiva. Si les ongd no poden mantenir aquest ritme, estan destinades a esdevenir insignificants.»

En efecte, com analitzen Hailey i James (2002), d’una banda, l’ús efectiu de l’apre-nentatge ha estat una de les característiques associades a l’èxit de la major part de les or-ganitzacions líders, tant del sector no lucratiu com del privat, concebent l’aprenentatge com el procés pel qual es relaciona la generació de

és important recordar les paraules de Fowler, ara fa més d’una dècada, quan assenyalava: «La importància de l’aprenentatge com a ca-pacitat bàsica de l’organització és cada vega-da més aparent en el complex i volàtil entorn econòmic i polític. L’aprenentatge és vital perquè les organitzacions es puguin continu-ar adaptant a un futur incert […]. En un entorn turbulent, la taxa d’aprenentatge d’una orga-nització ha de ser igual, o més gran, que el ritme de canvi de l’entorn extern, si l’organit-

Raons per implantar sistemes d’avaluació a les ONGD espanyoles, segons Larrú (2002):

• Motius econòmics: Per eficàcia, l’ongd ha de saber si compleix o no els objetius que es proposa i quins efec-tes tenen les seves accions, tant els desitjats com els imprevistos, els positius com els negatius; per eficiència, l’organització ha de saber —almenys amb una aproximació raonable— quin és el cost d’oportunitat de la seva cartera de projectes. Seleccionar-ne uns i despreciar-ne d’altres s’ha de fer a partir de criteris justificats, en els quals l’eficiència econòmica deguda a la seva especialització o per economies d’escala ha de tenir un pes consi-derable, tot i que no l’únic, per la seva natural absència de lucre. L’eficàcia i l’eficiència econòmiques permeten establir una visió i una estratègia per a les accions amb fonaments no gratuïts.

• Motius ètics: Sobretot, per honradesa amb la realitat. En el sistema de valors de l’estructura econòmica actual, les accions solidàries i les donacions no són evidents i s’han de justificar davant l’opinió pública, tant del nord com del Sud. L’ongd ha d’aspirar a oferir el millor producte o servei possible, a oferir el que és bo per a les seves poblacions objectiu, fruit d’avaluacions que proven aquesta bondat, i mai «experimentar» amb les poblacions objectiu o beneficiaris.

• Motius pedagògics: Fruit de la inclusió en qualsevol projecte d’un exercici avaluador i els processos d’aprenentatge mutu i capacitació que genera. Tota avaluació és una oportunitat d’incrementar el capital humà de totes les parts involucrades. Es produeixen accions d’apoderament, autoresponsabilitat i enfortiment comuni-tari de la part beneficiada. S’enforteixen les relacions mútues entre les parts, s’obtenen conclusions i recomana-cions que impulsen la continuïtat de la cooperació. S’aprenen i es detecten les bases dels cercles virtuosos i les bones pràctiques, potencialment reproduïbles en altres projectes, llocs o circumstàncies semblants. S’obtenen materials i informació primària que poden ser explotats en les campanyes de sensibilització de l’opinió pública i en les accions de pressió política. S’examinen conductes i actituds que poden fer créixer l’autoestima i la dignitat en les poblacions empobrides i la motivació i satisfacció del personal de l’ongd, tant la part que va actuar com a contrapart local com la finançadora del nord.

190

Programa integral de desenvolupament per el districte de Kebri Beyah.Comité internacional de Rescate España. Etiopía 2007

191

• Motius científics: En una disciplina que aspira a ser considerada activitat investigadora i científica, com és l’avaluació, una font de legitimació pot ser l’avaluació practicada com a recerca conjunta de la veritat parcial que tots els implicats en el projecte de desenvolupament tenen. En oferir-la en l’exercici valoratiu, s’avança i es pro-dueix coneixement sobre la pobresa i les seves causes, els mecanismes que la consoliden i els que l’atenuen, així com els processos reeixits que solucionen o pal.lien aquestes situacions inhumanes. En situar l’ésser humà al centre (la gent, en expressió sovint utilitzada pel PnUd) i buscar la veritat sobre les causes i els remeis contra l’empobriment, es du a terme una innegable activitat científica.

• Motius de cohèrencia: no es poden fer accions de «passadissos» i pressió política sobre les debilitats d’un sistema —per exemple, el de cooperació pública al desenvolupament— sense poder oferir cap avaluació inter-na que justifiqui la coherència entre el denunciant i allò que denuncia. Una denúncia crítica sense alternatives provades o mínimament justificables, fruit d’avaluacions serioses, esdevé demagògia inútil. És dur el diagnòstic que sobre algunes ongd han fet els pobres en la investigació coordinada per narayan (2000:6): «A vegades, les persones pobres afirmen que el personal de les ongd, a més de ser rude i enèrgic, no sap escoltar. Sorprenen-tment, els pobres diuen que consideren algunes ongd en gran part irrellevants, orientades a l’autoservei, limita-des en el seu abast i també corruptes, tot i que en un grau molt inferior que l’Estat.» Per descomptat, la imatge de les ongd a Espanya és més aviat la contrària: són elles quasi les úniques que garanteixen que els recursos humanitaris arriben al seu destí, i elles mateixes cultiven aquesta imatge de ser «els bons de la pel.lícula» amb la crítica sistemàtica a la cooperació oficial. Però, de fet, es rendeixen molt pocs comptes propis i molt generals (no van més enllà de la distribució geogràfica dels projectes, el seu volum i el dels recursos financers gestionats) i, com que no hi ha avaluacions, no es detallen continguts concrets sobre els quals es tingui avantatge comparatiu sobre la resta d’actors de l’ajuda.

• Motius de conveniència: En cas que no els semblin suficients els motius anteriors, més elevats, les ongd no han d’oblidar que les seves accions ja són avaluades, no sols en cada procés de selecció de convocatòries públiques de subvencions, sinó que els seus projectes ja han passat a formar part del sistema d’avaluació de la cooperació espanyola que duu a terme l’oficina de Planificació i Avaluació (oPE). Que aquest «estímul extern» serveixi per motivar encara més la instauració de procediments interns d’avaluació a les ongd.

coneixement amb l’acció; de l’altra, cada cop es veu més clar, a partir de la pròpia experièn-cia del desenvolupament, que es tracta d’un procés basat en el coneixement, tant pel que fa a la generació d’aquest coneixement com a la seva utilització i difusió. Per això és tan important l’aprenentatge —no sols per les bones pràctiques, sinó també pels errors dels quals cal aprendre— i la gestió i la difusió del

coneixement generat com a peces centrals en la cooperació al desenvolupament. Repre-nent les paraules de Smillie (1995), «Saber el que funciona és important, però saber el que no funciona és igualment important. El conei-xement implica consciència, memòria i fami-liaritat, característiques que es desenvolupen amb l’experiència i l’aprenentatge.»

192

seva consecució (tant humans, és a dir, per-sonal especialitzat amb un perfil determinat, com econòmics, entenent que els fons des-tinats a l’avaluació són una inversió i no una despesa), i també la necessitat de treballar per construir capacitat en aquest àmbit. Així, la formació del personal, l’assignació de res-ponsabilitats a nivell institucional i la reducció de la càrrega de treball associada al personal implicat són una tasca necessària i urgent, per bé que no suficient.

I és que més enllà dels aspectes més evi-dents i formals, és indispensable construir una cultura que fomenti l’aprenentatge. En aquest sentit, cal que el seguiment i l’avalu-ació del que es fa sigui una part integrant de la cultura de treball. És necessari supe-rar la cultura activista i de l’èxit necessari. Els membres de l’organització han de percebre que estan dins una organització oberta a les noves idees i a la innovació, en la qual l’error és acceptat. Es permet qüestionar els pro-cessos, discutir sobre el que s’ha planificat i dialogar sobre les alternatives correctores. Es tracta, en altres paraules, de construir una cultura en què tots els actors implicats —so-cis, treballadors sobre el terreny, beneficiaris, etc.— puguin aportar la seva visió i que hi hagi espais per fer-ho.

Les reflexions següents van precisament en aquesta direcció:

no obstant això, és evident que l’aprenen-tatge a les ongd i, més enllà, la implantació d’una cultura d’aprenentatge no són proces-sos que sorgeixin d’una manera espontà-nia. Com hem analitzat en aquest llibre, hi ha molts obstacles, alguns d’atribuïbles a l’entorn, d’altres a les mateixes organitza-cions, que frenen aquests processos. no hi ha cap recepta màgica per superar-los, però sí que podem trobar alguns elements que, adaptats a la realitat de cada organització, po-den ajudar a vèncer-los i contribuir a construir una organització que aprèn.

Perquè hi pugui haver aprenentatge, doncs, cal un entorn institucional adequat i l’assig-nació dels mecanismes i recursos necessa-ris per a cada organització. Vegem alguns d’aquests elements amb més detall:

1. Aprenentatges per compartir amb les ONGD

En primer lloc, és fonamental que les ongd tinguin l’aprenentatge com un dels seus ob-jectius principals, conscients que si no apre-nem del que fem no serem capaços de transformar la realitat que ens envolta. L’aprenentatge, i el seguiment i l’avaluació com a instruments fonamentals per aconse-guir-lo, s’ha de configurar com un element estratègic central de les organitzacions per al desenvolupament. En aquest punt sorgeix la necessitat de dedicar recursos a la

193

Promoure la reflexió sobre la identitat i la missió de les ONGD

Com assenyala Meyer (2007), en molts casos les ongd espanyoles «no han aprofundit en l’anàlisi dels seus avantatges comparatius o del lloc que ocupen, juntament amb la soci-etat civil, en la nova arquitectura de l’ajuda».

Tal com hem analitzat al llarg d’aquest llibre, la recent declaració de París ha situat al cen-tre de la discussió la qüestió de la qualitat de l’actuació dels actors de la cooperació. En el cas de les ongd, es veuen forçades a demostrar el seu valor afegit, per a la qual cosa cal un gran exercici de reflexió sobre la identitat i la missió institucionals i, sobretot, sobre els seus avantatges comparatius: què fem bé?, en què som millors que altres actors de la cooperació?, què podem aportar com a valor afegit? Això implica, com proposen Roper i Pettit (2002), que les organitzacions han d’avançar en els seus cicles d’aprenen-tatge i superar els primers cicles —centrats, respectivament, en l’eficàcia i l’examen dels problemes més urgents i en l’anàlisi de les assumpcions i hipòtesis de partida i la valo-ració de les estratègies derivades implemen-tades per l’organització— per centrar-se en l’anomenat tercer cicle d’aprenentatge, que sotmet a examen la pròpia raó de ser de l’or-ganització.

Aquest exercici és probable que condueixi a l’especialització o la divisió de la feina, ja que

Recomanacions formulades per les ONGD entre-vistades per a la millora dels sistemes de SiA:

• Contribuir a desenvolupar un esperit «sa» d’autocrítica i augmentar l’aprenentatge institucional a través de l’avaluació, a partir de la creació d’espais de reflexió dins de les ongd.

• Institucionalitzar progressivament l’avaluació, el se-guiment i el control de qualitat en l’organització i els processos organizatius i assegurar la involucració de tota l’organització (suport de dalt, participació de baix i generació de la demanda per a l’avaluació internament i externament).

• Establir expectatives realistes (l’avaluació no és cap panacea) i plans d’avaluacions a l’ongd, amb recur-sos suficients.

• Millorar la qualitat de les avaluacions pel que fa a al-tres metodologies, més participatives, centrades en l’avaluació de processos més que de resultats, i ela-borar procediments per a la selecció d’avaluadors pro-fessionals (no qualsevol persona).

• Organitzar, des de les coordinadores i altres estruc-tures de segon nivell, grups d’interès sobre diferents sectors d’ajuda (salut, ajuda humanitària, etc.) en què les ongd interessades comparteixin informació. És important tenir en compte que en grups petits no hi ha tanta desconfiança.

• Potenciar la participació real (no sols en la consulta per a la recopilació de la informació) dels beneficiaris/actors locals al llarg de tot el cicle d’avaluació.

• Comunicar i difondre els resultats adequadament i garantir un seguiment estricte de les recomanacions. Amb relació a la difusió, destaca el paper de les coor-dinadores o de les pàgines web (seguint el model an-glès, per exemple).

• Reconèixer les necessitats de formació i suport dels interessats.

• Fomentar les avaluacions conjuntes i la colaboració amb altres ongd (per exemple, el sistema Peer Re-view, como al CAd/oCdE). Potenciar el paper de les estructures de segon nivell.

194

gueixen aliar els seus valors personals amb l’eficàcia en el disseny i la direcció de l’orga-nització.

Tot i que hi ha una gran diversitat d’experièn-cies, segons el compromís de cada líder i or-ganització amb els diversos aspectes i face-tes del procés d’aprenentatge (per exemple, l’aprenentatge formal oposat a l’aprenentat-ge informal), hi ha diverses característiques que són comunes a les diferents formes de lideratges que promouen l’aprenentatge in-tegrant-lo en l’organització com a valor indis-sociable.

En primer lloc, són lideratges que parteixen d’uns valors sòlids basats en el coneixement i sensibles al context. En la pràctica, això significa que els líders tenen una visió clara, fermament arrelada en un conjunt de valors explícits i un compromís ferri amb el desen-volupament i els seus objectius últims: una actitud que serveix d’inspiració per al conjunt de l’organització i els seus stakeholders.

En segon lloc, els líders tenen la voluntat fer-ma d’aprendre i experimentar, d’arriscar i apli-car noves tecnologies, noves metodologies i nous dissenys d’organització, i d’emprar els coneixements que provenen de l’acadèmia i de la pràctica del desenvolupament.

En tercer lloc, es tracta de líders que tenen la curiositat i la capacitat d’analitzar l’entorn, seguir les tendències i respondre a les cir-

la situació actual, en què un nombrós ventall d’organitzacions espanyoles que es dediquen al mateix competeixen per recursos, segura-ment és insostenible.

Tal com indica Larrú (2002), «Una visió racional i econòmicament eficient del sector apuntaria cap a processos de “fusions” i “especialitza-cions”, en funció d’economies d’escala o de diferenciació de productes. Els estudis sobre eficiència comparada entre ongd espanyoles plantegen com a criteri principal de valor, pre-cisament, les dimensions de l’entitat, mentre que exclouen factors com la confessionalitat, la ideologia o la forma jurídica que adopti (Mar-cuello, 1999). Ens atrevim a pronosticar un procés d’aliances i «fusions» entre les ongd espanyoles a mesura que vagi madurant el sector, a la recerca de l’eficiència i la consoli-dació de la seva pròpia identitat.»

Promoure lideratges compromesos amb l’aprenentatge

Com analitzen Hailey i James (2002), una de les característiques comunes de totes les or-ganitzacions que aprenen és que estan diri-gides i administrades per líders per als quals l’aprenentatge és un objectiu prioritari i que estan disposats a invertir recursos de l’orga-nització, convençuts del seu potencial com a catalitzador de canvis. Però més enllà de l’aprenentatge col.lectiu de l’organització, es tracta de persones per a les quals l’apre-nentatge és un repte personal i que aconse-

195

En efecte, l’experiència ha demostrat que les organitzacions que aprenen són: (i) les que no tenen aversió a les noves idees, que poden ser expressades lliurement des dels diversos àmbits de l’organització i el seu entorn, par-ticularment per part dels usuaris i beneficia-ris dels seus serveis, i (ii) aquelles en què, a més, les noves idees que realment aporten un potencial de millora poden evolucionar des de l’àmbit de les idees fins a l’àmbit de la pràctica, transformant-se en nous comporta-ments de l’organització.

En la pràctica, això suposa l’ús i la instituci-onalització progressiva d’enfocaments, me-todologies i instruments de SiA renovats i orientats a l’aprenentatge, com els que hem descrit en el capítol 3; és a dir, un enfoca-ment democràtic de l’avaluació, orientat a la participació i al seu ús pràctic, i l’aplicació de metodologies noves, centrades en l’avalua-ció de processos i que promoguin l’aprenen-tatge des de la base i la rendició de resultats mútua, no sols en direcció a la comunitat de donants. Cal emfasitzar que l’ús d’aquests enfocaments i metodologies té implicacions més importants en les organitzacions des del punt de vista de les seves dimensions, la seva missió i el seu disseny organitzatiu. En certa manera, com alguns experts apunten, es tracta de tornar a posar sobre la taula els preceptes de pensadors como Freire o nye-rere, per als quals els «pobres i exclosos» no sols han d’influir en la pràctica de les ongd, sinó que han de ser ells mateixos els qui de-

cumstàncies canviants. A més, aquests líders també tenen les habilitats de comunicació i interpersonals que els permeten motivar el personal i connectar amb una secció repre-sentativa de la societat.

Finalment, són líders capaços d’equilibrar demandes diverses i d’assumir, camaleòni-cament, diferents rols, per adaptar-se a les complexes demandes i necessitats sorgides de l’organització i l’entorn.

En definitiva, parlem de persones capaces de combinar i encaixar els seus ideals i valors amb l’anàlisi, l’expertícia tècnica i el professi-onalisme, a la vegada que sostenen i difonen una visió clara i inspiradora per a l’equip de l’organització i els seus principals stakehol-ders. Són persones que creuen en el conei-xement i l’aprenentatge com a eines per dis-senyar el futur de la seva organització. Promoure estructures democràtiques que fomentin l’aprenentatge

Més enllà dels arranjaments institucionals als quals fèiem referència a l’inici d’aquest apar-tat de consells adreçats a les organitzacions —és a dir, la necessitat de dedicar temps, re-cursos i personal a l’aprenentatge—, el cert és que les organitzacions que aprenen, des del punt de vista del disseny organitzatiu, han de fer un pas més endavant, per confi-gurar-se com a organitzacions suficientment democràtiques, incubadores de noves idees.

196

fineixin els paradigmes de desenvolupament aplicables en cada context. o almenys, les organitzacions han de buscar maneres de crear espais per al desenvolupament i la pràctica de la innovació, i el qüestionament, en definitiva, de les pràctiques dominants. Això suposa, a la pràctica, arribar a negociar amb la comunitat de donants per permetre una flexibilitat més gran en l’aplicació dels seus reglaments i les seves normatives d’execució i rendició de comptes dels seus programes i fons.

Com apunten diversos experts, una institu-ció que sigui capaç de desenvolupar i enfor-tir una cultura d’avaluació tindrà avantatges positius en els processos i resultats institu-cionals. Preskill i Torres (1997) afirmen que els funcionaris individuals i els membres d’equips d’una institució d’aquest tipus aprenen de manera més autodirigida i utilit-zen la informació per actuar. d’una banda, desenvolupen un sentit de responsabilitat més gran cap a ells mateixos i cap als altres, i de l’altra, assumeixen més riscos, consul-ten més, assessoren més i es donen suport mútuament. En aquest context, les institu-cions desenvolupen noves idees i estratè-gies, són capaces de canviar d’una manera més ràpida segons les variacions al context extern, experimenten més eficiència i un ús més efectiu de les lliçons apreses per millo-rar els projectes i programes i són més capa-ces d’unificar processos.

elements per al reforçament de l’àrea d’avaluació

Suport i compromís de l’alta gerència, que s’ha de comprometre a donar suport a la funció d’avaluació com una àrea prioritària per fer que la institució sigui eficient, eficaç i responsable davant d’ella mateixa.

Assignació de recursos humans i econòmics. El su-port de l’alta gerència implica, entre altres aspectes, l’assignació de recursos humans i financers al segui-ment i l’avaluació. Sense recursos financers suficients, l’avaluació té poc impacte, ja que amb poques avalua-cions i/o avaluacions de poca qualitat no és possible crear el coneixement pertinent que pugui influir en el procés de presa de decisions i millorar l’aprenentatge institucional. En aquesta línia, en una discusió lliure que es va produir a EVALTALK (la xarxa electrònica de l’Associació Americana d’Avaluació), diversos ava-luadors professionals van proposar d’assignar com a mínim el 10 % de cada pressupost de projecte a l’avaluació. Molts dels experts van suggerir que se-ria millor dedicar-se només a algunes avaluacions de gran qualitat que poguessin tenir un impacte pertinent en la institució que no pas a moltes avaluacions de baixa qualitat que després dormen damunt l’escriptori d’algunes persones especialitzades.

Una institució que no té por del risc, és a dir, una institució que fomenta la innovació i l’acceptació de riscos, permetent als seus funcionaris aprendre dels errors i de l’experiència passada negativa. Si la insti-tució tem el risc, ningú no voldrà avaluar ni ser ava-luat, per les possibles conseqüències professionals i personals. no tenir por del risc no significa que la institució hagi d’acceptar qualsevol error que es pugui cometre, sinó que ha de permetre als funcionaris ac-ceptar el risc calculat per explorar noves estratègies i direccions, donant-los l’oportunitat de prendre deci-sions equivocades.

Basat en Marco Segone: «Evaluación democrática», Cuadernos de Trabajo, UNICEF, maig del 1998.

197

▪ L’objecte de l’avaluació: És convenient en cas de temes que siguin massa controver-tits per a un sol actor o molt amplis.

▪ L’objectiu de l’avaluació: S’han de fer ava-luacions conjuntes «en lloc de» i no «a més de» les avaluacions individuals. Per tant, si l’avaluació conjunta no satisfà les necessi-tats informatives, d’aprenentatge o de ren-dició de comptes de tots els actors impli-cats, pot ser convenient no fer-les.

▪ Enfocament: Poden ser inapropiades si un dels socis vol controlar l’enfocament, redu-int-lo molt als seus interessos.

▪ El marc temporal: normalment requerei-xen més temps a causa de la necessitat de

mics (oCdE) 2006, www.oecd.org/dataoecd/28/14/37484787.pdf

La col.laboració entre ONGD com a via per millorar la funció de seguiment i avaluació

La col.laboració entre les ongd pot ser un element central per millorar la funció de se-guiment i avaluació, especialment mitjançant l’intercanvi d’aprenentatges i experiències i la realització d’avaluacions conjuntes.

Amb relació a aquest darrer punt, cal destacar que, com han posat de manifest Feinstein i In-gram (2003), dur a terme avaluacions conjun-tes evita la sobrecàrrega d’avaluacions sobre temes i accions similars, a la vegada que es redueixen despeses, s’harmonitzen metodolo-gies i es crea capacitat en totes les instàncies que participen de manera conjunta. A més, les avaluacions conjuntes permeten que els interessos i les prioritats de cada actor surtin a la llum d’una manera més visible i al mateix temps milloren la legitimitat i l’ús posterior de les recomanacions, ja que seran fruit d’un pro-cés participatiu i de treball en equip.

d’altra banda, cal tenir en compte que gene-ren uns reptes determinats, especialment la necessitat d’aconseguir un consens i de man-tenir una coordinació efectiva, que pot ser costosa i requerir una gran inversió de temps.Caldrà analitzar en cada cas la idoneïtat o no de dur a terme avaluacions conjuntes, ate-nent a factors com:53

53 Recurs d’interès: «dAC evaluation series gui-dance for managing joint evaluations», organitza-ció per a la Cooperació i el desenvolupament Econò-

Beneficis potencials de desenvolupar avalua-cions conjuntes:

• desenvolupament mutu de capacitats, ja que permet aprendre els uns dels altres i compartir tècniques d’avaluació.

• Harmonització i reducció de despeses.• Participació i alineament, perquè requereix la

participació d’institucions dels països que faci-liten l’alineament amb les necessitats locals i l’apropiació.

• objectivitat i legitimitat: incrementa la trans-parència i la independència, així com la possibili-tat d’apropiació dels descobriments i de fer que s’apliquin les recomanacions.

• Permet encarar qüestions d’avaluació més àm-plies, com les de l’impacte.

198

de les ongd com a ens passius i els treballa-dors com a herois. La discussió sobre el codi de conducta allunya la cultura de les ongd espanyoles i la societat que els dóna suport de l’enfocament paternalista i les apropa més a una postura política. Així, el codi de conduc-ta s’adapta perquè les ongd puguin rendir comptes».

La seva aplicació, però, com reconeixen els experts del sector, està molt lluny de ser una garantia de la qualitat de la gestió i la coopera-ció impulsades per les organitzacions que el subscriuen. Com apunta la FRIdE, per poder «operacionalitzar» la rendició de comptes es necessiten dos mecanismes: un per a la de-tecció de la desviació de les normes i un altre per a la sanció subsegüent. El codi de conduc-ta podria fallar fàcilment en ambdós. En primer

coordinació, per la qual cosa caldrà tenir en compte si es disposa d’un marc temporal adequat.

En altres països, en canvi, s’han desenvolupat mecanismes —especialment xarxes i webs— per fomentar l’intercanvi d’experiències i l’apre-nentatge entre les organitzacions. És el cas, per exemple, de Mande (http://www.mande.co.uk), Eldis (http://www.eldis.org) i Alnap per a operacions humanitàries (http://www.odi.org.uk/ALnAP), entre d’altres. Tots s’han convertit en fonts d’informació molt vàlides, tant per a cooperants i avaluadors com per al públic en general.

Reforçar els mecanismes interns i mixtos per assegurar la qualitat de l’ajuda

Com proposa la FRIdE en el seu document Base sobre el valor afegit de les ongd,54 hi ha un conjunt de mecanismes interns i mixts dissenyats per fomentar la qualitat de la co-operació impulsada per les ongd. En l’àm-bit dels mecanismes interns —és a dir, fruit dels esforços d’autoregulació del sector—, la CongdE va acordar un codi de conducta que reclama valors com la solidaritat, la justícia, la transparència i un enfocament de desenvo-lupament participatiu. Aquest codi, com ana-litza la FRIdE, «ha procurat evitar una forma caritativa de presentar els receptors d’ajuda

54 « Valor añadido de las ongd», documento de Base, Foro Aod - La Ayuda española al desarrollo, FRIdE.

La Fundación Lealtad ofereix un mecanisme volunta-ri d’acreditació. Proposa una valoració de les ongd en nou dimensions i certifica els seus estàndards de planificació estratègica, maneig de recursos hu-mans, rendició de comptes i transparència. www.fundacionlealtad.org

Q-ongd és una iniciativa que proposa promoure la qualitat al tercer sector, principalment concen-trant-se en la qualitat del maneig de sistemes. L’assumeixen diverses organitzacions que treballen en àrees d’atenció i protecció social. En surten va-luoses lliçons apreses que encara no s’apliquen a les ongd internacionals. www.q-ongd.org

Font: Document de la FRIDE

199

tariat. d’altres pot ser que simplement no es-tiguin adaptades a aquest tipus d’actuació.»

d’aquí sorgeix la necessitat imperiosa de reforçar aquests sistemes, tant interns com mixts, amb la realització, publicació i difusió sistemàtica d’avaluacions.

Integrar les tecnologies de la informació i la comunicació (TIC) per a la millora del procés de seguiment i avaluació

L’esquerda o divisió digital defineix la diferèn-cia d’accés a les noves tecnologies de la in-formació i la comunicació (ordinadors, telèfons mòbils, connexions a Internet, etc.) entre i dins dels estats, les regions i els sectors de pobla-ció. La majoria d’internautes viuen als països in-dustrialitzats, on, malgrat això, només resideix el 15 % de la població mundial. El potencial de les TIC per al desenvolupament econòmic i social dels països menys avançats és enorme. En el camp del seguiment i l’avaluació, les TIC també poden aportar grans avenços i simplifi-car aquests processos, i ajudar l’organització a aprendre d’una manera més fàcil. És un camp d’estudi encara molt incipient, però val la pena de fer-hi atenció.

Hem de remarcar que el Pla director de la Cooperació Espanyola 2005-2008 reconeix també el paper de les TIC en la nostra coope-ració i assumeix el compromís d’impulsar l’ús d’aquestes tecnologies com a mitjà per millo-rar la qualitat de les actuacions de cooperació.

lloc, la detecció de desviament és difícil per-què els conceptes que utilitza són vagues i no hi ha un debat intern sobre com fer-los opera-tius i mesurables. A més, encara que el codi sí que estableix estàndards per a estratègies, detectar un comportament inadequat als paï-sos receptors és molt difícil. Tal com exposa el document: «Les avaluacions encara són es-casses, no són sistemàtiques ni independents i haurien d’incloure els actors del procés i de-mostrar que els informes poden estar equivo-cats sobre els cooperants irrespectuosos que pretenen crear els seus petits regnes en paï-sos llunyans.» d’altra banda, l’aplicació de san-cions és un procés encara més complex. ni la CongdE ni altres ongd denuncien o expul-sen altres organitzacions pel fet de tenir poc enfocament o poca efectivitat.

En segon lloc, hi ha els mecanismes mixts, proposats des de fundacions i altres organit-zacions compromeses amb el desenvolupa-ment i amb el tercer sector, que busquen mi-llorar el professionalisme, la qualitat de gestió i els estàndards de qualitat a través de l’oferta de certificacions.

Tanmateix, aquests mecanismes són volun-taris, i no totes les ongd poden accedir a aquestes garanties de qualitat. Com analitza la FRIdE, «Algunes són molt petites i només tenen mecanismes burocràticament verifi-cables que assegurin l’impacte de les seves accions, com per exemple un compromís ex-traordinari amb els valors personals del volun-

200

tàndards per a les ongd, sobretot les petites o mitjanes.

d’altra banda, s’han d’atendre les iniciatives innovadores en l’ús de les TIC per al segui-ment i l’avaluació, que utilitzen eines com els blocs, els metablocs, els planetes, els wikis, les xarxes socials, la telefonia per In-ternet o la videoconferència. Són instruments que faciliten un seguiment més visual, ràpid i barat dels projectes i alhora permeten que hi hagi més participació de diferents actors. Els blocs, per exemple, permeten a persones sense coneixements especialitzats en Inter-net publicar fàcilment els avenços d’un pro-jecte determinat, a la vegada que propicien que el públic general i altres actors aportin comentaris o valoracions, i per això podem trobar ja nombrosos exemples de blocs man-tinguts per cooperants sobre el terreny.

d’una banda, s’ha d’atendre el desenvolupa-ment de sistemes de gestió de la informació per a ongd, al qual moltes ongd espanyoles dediquen una atenció especial últimament. Es tracta de desenvolupar sistemes d’informació sòlids que permetin compartir i difondre tota la informació relativa al desenvolupament dels projectes i/o programes de l’organització, amb la consegüent millora en les tasques de segui-ment i avaluació d’aquests projectes. Acos-tumen a prendre la forma d’una intranet a la qual poden accedir els membres de l’ongd del nord i, a vegades, també les contraparts o socis locals. Cal destacar que, perquè sigui un instrument realment efectiu, requereix un disseny específic per a cada organització, cosa que el fa molt costós econòmicament. Però hi ha algunes iniciatives en marxa, com la del projecte gong que expliquem més avall, que pretenen el desenvolupament de sistemes es-

PRÀCTICA DeSTACADA:International Institute for Communication and Development:

Sistema Permanent de Monitoratge i Avaluació en Línia

L’IICd ha desenvolupat per als seus programes nacionals un sistema de monitoratge i avaluació (M&A) continu, participatiu i basat en l’autoreflexió: Sistema Permanent de Monitoratge i Avaluació en Línia.

Cada soci de M&A recull dades quantitatives a través del sistema de M&A en línia establert per l’IICd. El sistema conté dotze qüestionaris senzills. El soci de M&A informa periòdicament els usuaris finals, els en-carregats de projectes i els que participen en la capacitació de quin és el qüestionari que han d’emplenar. Respondre aquests qüestionaris només costa de 10 a 25 minuts i permet a tots els que participen en els Programes nacionals expressar les seves opinions sobre els progressos assolits. Això s’aconsegueix ma-nifestant l’acord o el desacord amb afirmacions com: «Aquest projecte m’ha aportat coneixements sobre com millorar el meu nivell de vida» i «A través d’aquest projecte ara jo puc ajudar altres persones». També

es pot respondre a preguntes obertes. Les dades obtingudes després són analitzades amb l’objectiu de filtrar informació important i identificar problemes comuns.

201

El sistema M&A on-Line està disponible a http://www.web-survey.com/iicd2

Pràctica recollida a l’Encuentro Coop 2.0, 30-31 de gener de 2008, gijón, Astúries (Espanya).

I Trobada Internacional de les Tecnologies de la Informació i la Comunicació per a la Cooperació al desenvo-lupament http:// encuentro.1arroba1euro.org/

PRÀCTICA DeSTACADA: CeNATIC:

GONG: una eina de gestió per a ONGD

CEnATIC és una fundació pública estatal, creada pel Ministeri d’Indústria, Turisme i Comerç el 2006 amb la missió d’impulsar el coneixement de les tecnologies de fonts obertes en diferents àmbits d’activitat i oberta a la participació dels diversos estaments de l’Administració pública, l’empresa i l’entorn de la investigació i el desenvolupament tecnològic, així com del tercer sector.

CEnATIC promou la creació d’una eina de gestió per a ongd (gong), preferentment mitjanes i petites, per resoldre la problemàtica següent:

- La gestió interna de les ongd amb vista als processos administratius relacionats amb les seves fonts de finançament i al control dels projectes que duen a terme.

- Minimitzar l’impacte econòmic que aquesta gestió pugui tenir sobre el finançament de les ongd, propor-cionant-los una eina de cost mínim, tant en l’obtenció de la llicència d’ús com en la seva implantació i ús.

- generar una comunitat d’empreses i desenvolupadors que mantinguin i desenvolupin la solució perquè continuï sent útil amb el temps.

- Transferir el coneixement de la solució creada a aquesta comunitat de desenvolupament.

L’aplicació disposarà de diferents mòduls de gestió: mòdul de gestió d’expatriats, mòdul de gestió de pres-supost, mòdul de gestió de campanyes, mòdul de gestió de voluntaris i socis, mòdul de gestió de donants i proveïdors, etc. Entre aquests mòduls destaquen:

- Mòdul de gestió de projectes: L’aplicació disposarà d’un sistema de gestió de projectes basat en l’Enfocament del Marc Lògic. El cicle cobert inclourà totes les possibles fases: identificació, execució, formulació, seguiment, etc., amb els seus corresponents documents associats.

- Mòdul de quadre de comandament, que ajuda la direcció de l’ongd en la presa de decisions.- Mòdul d’entrades i sortides: L’aplicació permet el flux d’informació des de i cap al sistema, en formats basats en estàndards oberts, com es defineixen en el marc d’interoperabilitat de la Unió Europea. El sistema exportarà informació i permetrà la generació automàtica d’informes.

Actualment el projecte es troba en la fase de desenvolupament de la plataforma tecnològica, però en el seu desenvolupament participaran nombroses ongd, així com entitats públiques donants de fons i la coordinadora d’ongd.Més informació a www.cenatic.es

202

tari i que, per tant, fomenti l’aprenentatge és una responsabilitat central dels donants, es-pecialment els públics.

En aquest sentit, la reformulació d’alguns as-pectes de la llei de subvencions per ajustar-la a la realitat del sector de la cooperació, i la creació de noves convocatòries i sistemes de seguiment, en els quals es prioritzin els elements de capacitat organitzativa i qualitat dels projectes, sobre altres aspectes de ca-ràcter econòmic, es converteixen en uns pri-mers passos necessaris, però no els únics.

d’altra banda, la dotació de més flexibilitat tant en els formularis estandarditzats (no sempre adaptables a la diferent realitat dels projectes) com en el seguiment d’elements, com ara els cronogrames, els pressupostos o fins i tot el tipus d’activitats, esdevé una demanda reiterada de les ongd, que con-sideren que moltes vegades els sistemes excessivament rígids de seguiment per part dels donants impedeixen modificar aspectes que contribuirien a l’èxit del programa o se centren en elements de poc impacte que els fan perdre molt de temps.

Així, l’homogeneïtzació de les convocatòries i la seva simplificació per alleugerir la càrrega burocràtica i administrativa vinculada a la ges-tió són també grans demandes de les ongd i elements que poden contribuir d’una mane-ra indirecta, però significativa, a avançar en la creació d’una cultura d’aprenentatge. Una

2. aprenentatges per compartir amb el sector públic i els donants

Teòricament avançar en la construcció de sistemes de seguiment i avaluació orientats a l’aprenentatge sembla senzill. Però, com qualsevol canvi cultural, requereix importants dosis de paciència i un clar lideratge, com hem exposat anteriorment. A més, és evident que, tal com moltes ongd assenyalen, no tan sols es tracta d’un tema que afecti les ongd. Els donants, especial-ment els públics, tenen un paper principal en aquest punt. de l’orientació de les seves con-vocatòries i les seves demandes dependrà també en gran part l’evolució d’un sector en plena transformació. En aquest sentit, els reptes que els donants han d’encarar són molts i molt diversos. Tot seguit anotem a sota de tres epígrafs dife-rents els que considerem més significatius.

Promoure un nou marc legal i administratiu que contribueixi a construir una relació entre les ONGD i els donants que no es basi exclusivament en el control pressupostari i que alleugi la càrrega administrativa de les ONGD

La promoció d’un marc legal i administratiu que permeti construir una relació entre les ongd i l’administració pública que s’allunyi del gairebé únic i estricte control pressupos-

204

Enfortiment del desenvolupament socioeconòmic a 7 zones rurals de la República dominicana. Fundación CUME. 2008

205

cultura que requereix que els donants, tant públics com privats, apostin per l’ús de nous instruments.

Es tracta d’uns instruments que han de per-metre, d’una banda, definir a priori un nou ti-pus de relació entre ongd i donant i, de l’al-tra, construir nous fonaments dels sistemes de seguiment. Així, per exemple, els conve-nis o contractes-marc o programa, ja utilitzats en l’Administració pública en altres àmbits, sorgeixen com un instrument amb potencial a partir del qual es pot configurar aquest nou marc relacional. d’altra banda, les reunions de seguiment pautades, les visites de segui-ment o l’acceptació d’informes de seguiment i avaluació a proposta de l‘ongd es conver-teixen en noves formes de configurar un se-guiment amb més grans dosis de flexibilitat i que requereix una selecció més estricta de les ongd amb les quals el donant vol col.laborar sobre la base de la definició d’unes estratègies d’intervenció compartides i la confiança en la capacitat mútua per desenvo-lupar-les.

Els incipients canvis produïts en l’àmbit de la cooperació, amb el sistema de qualificació d’ongd i la signatura de convenis, són un bon exemple de l’esforç fet per l’Administra-ció en aquest sentit. Tanmateix, és necessari que els canvis apuntats es consolidin i que se’n corregeixin alguns dels aspectes més fe-bles. Així, malgrat la novetat de tot el sistema, encara sembla necessària més flexibilitat en

Demandes formulades als donants per millorar els sistemes de SiAConclusions de les entrevistes fetes per a l’estudi:

• Flexibilitat pressupostària a l’hora d’incloure des-peses relatives al seguiment i l’avaluació dels pro-jectes als pressupostos presentats als donants. Per exemple, possibilitat d’imputar les despeses de per-sonal del nord com a despesa directa dels projectes (no com a despeses indirectes).

• Més uniformitat en les demandes dels donants, tant en els formularis de sol.licitud (amb l’adopció generalitzada del MML) como en els informes de se-guiment. Segons la Creu Roja, actualment hi ha més de seixanta models diferents. Adopció d’un estàndard acceptat per tots els donants.

• Flexibilitat dels donants en les definicions de siste-mes de SiA. Es planteja fins i tot, especialment per als donants que miren d’apropar-se a formes de traball de partenariat, que aquest es pugui adaptar al sistema de seguiment i avaluació de l’ongd, quan aquesta dispo-sa de sistemes professionals i estandarditzats.

• Flexibilitat en el cronograma, sobretot quan es parla de programes de dinamització que poden exigir ajusta-ments inicials potser superiors als plantejats.

• Dotació pressupostària per finançar la primera eta-pa de diagnòstic i avaluació de la sostenibilitat dels projectes.

• Més finançament per a conceptes com: (i) sistema-tització d’aprenentatge i coneixements (resultat del treball prolongat en una àrea específica, zona, etc.); (ii) treball de diagnòstic previ al disseny i formulació d’un projecte; (iii) avaluacions d’impacte (5-10 anys després del tancament del projecte): geogràfiques, sectorials i en col.laboració amb altres entitats.

• Ajustar el sistema de SiA a l’escala del programa o projecte finançat. El sistema d’avaluació dissenyat s’ha d’ajustar a la realitat i l’escala dels projectes fi-nançats perquè el cost i els requeriments de la seva realització no siguin excessius. En aquest sentit, al-guns financers cometen l’error d’inspirar-se en instru-ments de grans financers, que no són els més ade-quats per al tipus de projectes/programes finançats ni per a la capacitat de les ongd que els han de dur a terme.

206

la col.laboració i l’intercanvi entre les ongd. Així, el foment de tallers d’intercanvi i espais web o de diàleg en els quals les ongd analit-zin els seus èxits i fracassos pot ser de gran utilitat.

La creació de convocatòries específiques per a projectes pilot o innovadors, o la introduc-ció d’aquesta característica com un element positiu en el moment de valorar una propos-ta i l’adaptació consegüent dels sistemes de

el control administratiu i la definició de siste-mes de seguiment i avaluació que finalment es basin realment en l’aprenentatge, que ac-ceptin com a lògics els errors i que considerin la introducció de mesures correctores com a elements naturals en tota intervenció que busqui el canvi social.

Crear mecanismes de suport per al desenvolupament d’una cultura d’avaluació i aprenentatge a les ONGD

Entrant ja en més detall, els donants poden contribuir a la construcció d’una cultura d’ava-luació i aprenentatge a través del desenvolu-pament de mecanismes per donar-hi suport. Per apuntar-ne només uns quants exemples: En primer lloc, és important que els donants assumeixin els costos de seguiment i ava-luació com a part del finançament. I no tan sols això, sinó que en molts casos seria po-sitiu que acompanyessin les ongd (esta-blint termes de referència, participant en la selecció dels consultors, etc.) en la realització d’aquests processos.

També seria interessant la creació de fons es-pecífics per a l’avaluació d’impacte o el finan-çament de la formació dels professionals de les ongd, o del personal extern, dedicats a l’avaluació de projectes i programes.

d’altra banda, els donants tenen també en molts casos una situació privilegiada que pot ajudar-los a facilitar l’aprenentatge compartit,

Aquests són els grans reptes en matèria d’avaluació que haurien d’afrontar la DG POLDe i la resta d’actors de la cooperació espanyola:

• Difondre la cultura d’avaluació i la necessitat de garantir la coherència del sistema de planificació i avaluació i la retroalimentació del cicle.

• Avançar en l’harmonització de procediments i la coordinació i complementarietat d’actors de co-operació, especialment la cooperació descentra-litzada i la comunitat científica.

• Impulsar l’avaluació en l’àmbit de l’acció humani-tària (disseny específic).

• Promoure la participació d’Espanya en avalua-cions conjuntes en l’àmbit internacional.

• Avançar en la professionalització del sector de l’avaluació (dins de les ongd, les consultores i el sector acadèmic). no hem d’oblidar el paper essencial que, en matèria d’avaluació, correspon al sector acadèmic, consultores, professionals in-dependents i tècnics de les ongd.

Extret de «Reflexiones sobre la situación y avances de la evaluación de intervenciones de cooperación al desa-rrollo», Dirección General de Planificación y Evaluación de Políticas para el Desarrollo (SECI), 2006-2007Foro AOD, FRIDE.

207

rents donants públics volen tenir —no hem d’oblidar la multiplicitat de finançadors de la cooperació descentralitzada—, així com l’assumpció d’un lideratge més clar en l’àm-bit estatal, que principalment consisteixi en grans intervencions del Ministeri d’Afers Ex-teriors i Cooperació.

Com destaca Alfred Vernis al pròleg, estem en temps de canvis. El món es transforma i els actors de la cooperació es veuen obligats a repensar les seves funcions, a replantejar el seu rol. En un nou entorn en canvi continu, aprendre de les pròpies actuacions es con-verteix en una competència essencial; una competència que no sorgeix de manera es-pontània i a la qual el seguiment i l’avaluació poden contribuir molt significativament. Els reptes són molts i molt diversos, i en aques-tes línies només n’hem apuntat uns quants, però, malgrat les dificultats, hi ha elements per a l’optimisme.

Les ongd i els donants són cada vegada més conscients de la importància de seguir i avaluar les pròpies intervencions, analitzar les seves estratègies, els resultats i l’impacte de les seves accions. Els primers passos s’han iniciat, però queda molt per fer. Seguir i ava-luar no és fàcil, però és indispensable si les ongd volen legitimar la seva actuació, con-solidar-se com allò que volen ser: uns actors que contribueixen de manera significativa a caminar cap a una societat més justa.

seguiment i avaluació a aquesta tipologia de projectes, també pot configurar-se com una estratègia vàlida per fomentar l’aprenentatge en el sector.

Promoure la reflexió sobre el seu rol i missió, repensar el seu lloc en la cooperació i la seva xarxa d’aliances

Però més enllà de tots aquests elements, la construcció d’una cultura orientada a l’apre-nentatge requereix segurament, per part dels donants, un esforç central per repensar el seu paper i el seu mecanisme d’intervenció en el nou entorn que es perfila, el qual, com hem analitzat en el primer capítol, obliga els diferents actors a reposicionarse, a buscar el seu valor afegit.

des d’aquesta perspectiva, els donants tenen el repte de revisar el seu paper i repensar el seu lloc en la cooperació. És important, avui més que mai, que els donants defineixin clara-ment les seves estratègies d’intervenció, les seves prioritats, i, a partir d’aquestes, que es-tableixin els seus mecanismes de selecció de socis i finançament. Tenint aquests elements clars, serà molt més fàcil construir relacions de confiança, establir veritables aliances —si aquesta és l’aposta— que permetin contribuir al desenvolupament mutu de capacitats que condueixin a l’aprenentatge.

En l’àmbit espanyol, és especialment impor-tant la definició clara del paper que els dife-

208

Repensant el seguiment i l’avaluació a les ongd espanyoles, i analitzant els principals reptes i tendències de futur en aquest entorn canviant, hem pretès aportar el nostre petit gra de sorra a tot aquest procés, i esperem haver-ho aconseguit.

209

5. Bibliografia

210

Carrillo, Hugo, i Rodríguez Sosa, Jorge (2005): «¿Capitalizan los pobres? Experiencias de generación de ingresos en familias altoan-dinas», dESCo, Alternativas de desarrollo, Programa de Huancavelica.

Edwards, Michel (2004): Civil Society, olity Press, Regne Unit.

Edwards, Michael ( 2001) NGO legitimacy – voice or vote?, global Future, World Vision.

ECPdM (2004): «Rethinking the added value of European ngos», InfoCotonou, núm. 6, ECPdM, Maastricht.

Eurodad: «Cambiando las tornas. Ayuda y res-ponsabilidad en el marco de París. Un in-forme de la sociedad civil», abril del 2008.

Flores, Julia, i Engelhardt, Achim: «declaraci-ón de París sobre la eficacia de la ayuda al desarrollo y sus posibles efectos en segui-miento y evaluación y el papel de la soci-edad civil y ongd. El Valor añadido de las ongd», Foro Aod - La Ayuda Española al desarrollo, FRIdE.

Foro Aod, FRIdE: «El Valor añadido de las ongd», documento Base, Foro Aod - La Ayuda Española al desarrollo.

Fowler, A (1997): Striking a balance: a guide to enhancing the effectiveness of non-go-vernmental organizations in international development, Earthscan, Londres.

Fowler, A: «Aid architecture. Reflections on ngdo futures and the emergence of co-unter-terrorism», Occasional Papers Seri-es, núm. 45, InTRAC, gener del 2005.

grupo Coordinador Internacional (ISg) de las OSC: «De París 2005 a Accra 208: ¿Podrá

Bibliografia del capítol 1Bennett, Richard: «Challenges of being a

northern ngo: The UK experience», de-bate sobre el rol de las ongd, Asamblea general de ConCoRd, 25 de novembre de 2004.

CgLU (2007): «La descentralización y la de-mocracia en el mundo», Primer Informe global, Barcelona.

Chen, Shoohua, i Ravallion, Martin: «How have the world’s poorest fared since the early 1980s?», development Research group, Policy Research Working Paper 3341, Banc Mundial, juny de 2004.

ConCoRd: «A Concord Response to the EC Communication to the Council, the European Parliament and the Economic and Social Committee on “Participation of non-State Actors in the EC development Policy”».

ConCoRd: «groupe Politique. Sous-groupe Approche fondée sur les droits: quelle ré-ponse pour ConCoRd?», document per al debat, Asamblea general, juny del 2006.

ConCoRd: «debate sobre el rol de las ongd», Asamblea general de Concord, 25 de novembre de 2004.

ConCoRd: «Background note. debate on the Roles of European ngos», Assemblea general de ConCoRd, Brussel.les, 24-25 de novembre de 2004.

Consolo ,olivier: «The role of European ngos in the next 10 years. A vision on the future», dEEP Thematic dossier, juny del 2005.

211

Mabrahtu, Esther; Pratt Brian, i Lönnqvist, Linda (2007): «Rethinking monitoring and evaluation. Challenges and prospects in the changing aid environment», InTRAC, Regne Unit.

Mancuso Brehm, Vicky, con Harris-Curtis, Emma; Padrao, Luciano, i Tanner, Martin (2004): «Autonomy or dependence? Case studies of north-South ngo partners-hips», InTRAC, Regne Unit.

Meyer, Stefan: «La cooperación española para el desarrollo: ¿Aspiraciones hechas realidad?», documento de Trabajo núm. 40, FRIdE, juliol del 2007.

Pratt, Brian (editor) (2003): «Changing expec-tations. The concept and practice of civil society in International development», NGO Management & Policy Series, núm. 16, InTRAC.

Rogerson, Andrew; Hewitt, Adrian, i Walden-berg, david: «The International Aid System 2005–2010. Forces For and Against Chan-ge», overseas development Institute, març del 2004.

Shivji, Issa g. (2006): «The Silences in the ngo discourse: the role and future of ngos in Africa», Facultat de dret, Uni-versitat de dar es Salaam, document clau presentat en simposi sobre ong celebrat al MS-Training Centre for development Cooperation de Arusha, Tanzània, els dies 28 i 29 de novembre de 2005, publicat a Pambakuza News.

Sanz Corella. Beatriz (1999): «Las ongd en los conflictos internacionales: crisis de iden-

ser la ayuda al desarrollo eficaz y respon-sable?», una aproximació crítica a l’agen-da de l’eficàcia de l’ajuda al desenvolupa-ment.

Hadjaj, Hédia, i Totté, Marc: General Issues in the Debate on NGO Co-financing and on the Evaluation – Capitalisation – Assess-ment of Impact, CoTA, Brussel.les, juliol del 2004.

High Level Forum: «Paris declaration on Aid Effectiveness. ownership, harmonization, Alignment, results and Mutual Accounta-bility», París, 28 de febrer – 2 de març de 2005.

James, Ricky (2002): «People and change. Exploring Capacity Building in ngos», IN-TRAC NGO Management and Policy Seri-es, núm. 15, Regne Unit.

Kilcullen, Justin: «opening Remarks: new ro-les and challenges for European ngos», director de Trocaire i vicepresident del Consell de ConCoRd, Assemblea de ConCoRd, novembre del 2004.

Lister, Sarah: «The future of international ngos. new challenges in a changing world order. A paper for Bond’s ngo Fu-ture programme», Bond, abril del 2004.

Larrú Ramos, Jose María (2005): «La de-claración de París 2005: principios para una ayuda eficaz y aplicaciones para las ongd», Revista de Fomento Social, núm. 60, p. 243-281.

Lombardo, Miguel Angel: «Una visión política de las ong de desarrollo», ponència sobre el valor afegit de les ongd, Foro Aod, FRIdE.

212

Pati Manning, Barcelona, 23 de novembre de 2004.

de Laiglesia, Juan Pablo: «Balance de tres años de política española de cooperación al desarrollo», QUORUM, núm. 19.

Foro Aod, FRIdE: «Reflexiones sobre la situ-ación y avances de la evaluación de inter-venciones de cooperación al desarrollo», dirección general de Planificación y Evalu-ación de Políticas para el desarrollo, SECI 2006-2007.

Foro Aod, FRIdE (2007): «Evaluación», do-cumento Base.

Intermón oxfam: «Informe sobre la realidad de la ayuda 2006-2007».

Larrú Ramos, J. M.: «Razones para implantar un sistema de evaluación en las ongd y sus consecuencias», Revista de Fomento Social, núm. 228, p. 683-710, octubre-de-sembre del 2002.

Larrú Ramos, J. M: «Empoderamiento y par-ticipación en la evaluación de acciones de cooperación al desarrollo: del discurso te-órico a la práctica española», Universidad San Pablo-CE, 2003-2004.

Larrú Ramos, J. M: «Un ejercicio práctico en torno a los criterios de evaluación», Centro de Estudios de Cooperación al desarrollo (CECod).

Ley 38/2003, de 17 de noviembre, general de Subvenciones, i orden AEC/1303/2005, de 27 de abril, por las que se regulan las bases para la concesión de subvenciones a organizaciones no gubernamentales de desarrollo, para la realización de interven-

tidad y Fortaleza institucional», Cuadernos de Trabajo, núm. 57, Programa de gestión Urbana de naciones Unidas, Coordinación Regional para América Latina y el Caribe.

Slim, Hugo (2002): «By What Authority? The Legitimacy and Accountability of non-go-vernmental organisations», International Council on Human Rights Policy.

SustainAbility (2003): «The 21st century ngo: role, rules and risks», Sustainability Institute, nova York.

Sustainability (2003): «The 21st Century ngo: in the market for change», Washing-ton/Londres.

Un Habitat: «directrices sobre descentraliza-ción y fortalecimiento de las autoridades locales», nairobi, abril del 2007.

Bibliografia del capítol 2Alonso, J. A. (2005): «La cooperación españo-

la: un sistema en proceso de cambio».Cano, Ruben: «de la evaluación de la gestión

a la gestión de la evaluación: visión desde una ongd», Foro Aod.

CongdE (2008): «Informe de la CongdE sobre el sector de las ongd 2007».

CongdE (2008): «Plan de Trabajo 2008». CongdE (2004): «La financiación a las

ongd. Aportaciones para el Plan director 2005-2008», grupo de Financiación para el desarrollo de la CongdE.

CongdE: «I Encuentro de las ongS de de-sarrollo. Retos de un sector en cambio».

Cruz Roja: «Memoria de las II Jornadas sobre Evaluación de la Creu Roja en Cataluña»,

213

Abma, Tineke A., i greene, Jennifer C. (edito-res) (2001): «Responsive Evaluation. new directions for Evaluation», American Eva-luation Association.

ALnAP (2002): «Learning and Knowledge Management: The Literature and Expe-rience of ‘Comparable’ Sectors», ALNAP Annual Review.

Alsop, Ruth, i Heinsohn, nina: «Measuring Empowerment in Practice: Structuring Analysis and Framing Indicators», Policy Research Working Paper núm. 3510, Banc Mundial, febrer del 2005.

Baker, J. (2000): «Evaluación de impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales», Banco Mun-dial. Washington, d.C.

Bakewell, oliver, i garbutt, Anne (2005): «The use and abuse of the logical framework approach», SIdA.

Banc Mundial (2004): «Monitoring and Evalu-ation. Some Tools, Methods and Approac-hes», Washington, d.C.

Banc Mundial (2006): «Realización de evalua-ciones de impacto de calidad con limitaci-ones de presupuesto, tiempo e informaci-ón», grupo de Evaluación Independiente, Washington d.C.

Banc Mundial: «Cuestionario integrado para la medición del capital social», grupo de Expertos en Capital Social, març del 2002.

Banc Mundial: «Thailand Social Capital Eva-luation: A Mixed Methods Assessment of the Social Investment Fund’s Impact on Village Social Capital», juliol del 2008.

ciones en materia de cooperación interna-cional para el desarrollo.

Lombardo, Miguel Ángel: «Una visión política de las ongS de desarrollo», Foro Aod.

Medina, José María: «Encuentro de celebra-ción del 20 aniversario de la CongdE».

Meyer, Stefan (2007): «La cooperación es-pañola para el desarrollo: ¿Aspiraciones hechas realidad?», documento de Traba-jo, FRIdE.

Ministerio de Asuntos Exteriores y Coopera-ción, Secretaria de Estado de Cooperaci-ón Internacional, Subdirección general de Planificación y Evaluación de Políticas de desarrollo: «Plan director de la Cooperaci-ón Española 2005-2008».

Sanahuja, José Antonio: «La política de coo-peración española a partir de 2008: el reto de culminar las reformas», QUORUM, núm. 19.

Schulz, nils-Sjard: «El reto de la Cooperación Española: Hacia un modelo endógeno de evaluación», Foro Aod.

Stock, Inka: «Learning from Evaluation: A case study of Spanish non governmental development organisations», tesi presen-tada a la Universitat de nottingham. Scho-ol of Sociology and Social Policy for the Master Degree by Research and Thesis in Evaluation Research, setembre del 2002.

Bibliografia del capítol 3Abma, Tineke A. (2005): «Responsive evalu-

ation: its meaning and special contribution to health promotion», Elsevier Ltd.

214

lopment Research Centre’s experience with outcome Mapping», Development in Practice (12/3 i 4:518–524).

Edwards, R. W.: «Measuring Social Capital. An Australian Framework and Indicators», Australian Bureau of Statistics, febrer del 2004.

Estrella, M., i gaventa, J. (1998): «Who Co-unts Reality? Participatory Monitoring and Evaluation: A Literature Review». Working Paper, núm. 70, Institute of development Studies (IdS).

gallego, Ignacio: «El enfoque del monitoreo y la evaluación participativa (MEP): batería de herramientas metodológicas», investi-gador associat de l’Instituto Universitario de desarrollo y Cooperación de la Universi-dad Complutense de Madrid (IUdC-UCM).

gonzález, L.: «La evaluación ex-post o de im-pacto: Un reto para la gestión de proyec-tos de cooperación internacional al desar-rollo», Cuadernos de Trabajo de Hegoa, setembre del 2000.

Hovland, Ingie (2003): «Knowledge Manage-ment and organisational Learning: An In-ternational development Perspective. An Annotated Bibliography», odI.

IdRC Evaluation Unit: «Framework for eva-luating Capacity developoment in IdRC», febrer del 2005.

IICd: Ponència «Monitoreo y Evaluación en IICd: Cómo medir el impacto de las TIC para el desarrollo», recollida a l’Encuentro Cooperación 2.0, 30-31 de gener de 2008, gijón.

Binnendijk, Annette (1996): «Conducting a participatory evaluation», Performance Monitoring and Evaluation TIPS, núm. 1, Center for development Information and Evaluation, USAId.

Bond (2002): «Knowledge Management», Guidance Notes, núm. 5.

Bond (2003): «Learning from work. And op-portunity missed or taken?».

Bond (2004): «Learning in partnership», Working Paper.

Bond (2006): «Monitoring and evaluation», Guidance Notes, núm. 4.3.

Bond (2007): «Action Learning Sets», Gui-dance Notes, núms. 5.1.

Britton, Bruce (20050): «Aprendizaje orga-nizacional en ongd: Creando el Motivo, los Medios y la oportunidad», Documento Praxis, núm. 3, InTRAC.

CEnATIC: Ponencia «Herramienta de gestión para ongd», recogida en el Encuentro Coo-peración 2.0, 30-31 de gener de 2008, gijón.

Coates, Barry, i david, Rosalind (2002): «Le-arning for change: the art of assessing the impact of advocacy work», Development in Practice (12/3 i 4:530–541).

Chapman, J., i Wameyo, A: «Seguimiento y evaluación del trabajo de advocacy: Un es-tudio recopilatorio de información», Actio-nAid, gener del 2001.

davies, R., i dart, J.: «The ‘Most Significant Change’ (MSC) Technique. A guide to Its Use», Regne Unit, abril del 2005.

Earl, Sarah, i Carden, Fred (2002): «Learning from complexity: the International deve-

215

Pasteur, K., i Blauert, J. (2000): «Seguimiento y Evaluación Participativos en América La-tina: Panorama Bibliográfico y Bibliografía Anotada», IdS (Institute of development Studies), Regne Unit.

Patton, Michael Quinn (1997): Utilization-fo-cused evaluation, 3a ed, Thousand oaks, CA, Sage Publications.

Patton, Michael Quinn (2002): «Evaluation-Focused Evaluation Check-List».

Roberts, Kate, i Coutts, Jeff: «Evaluating Em-powerment. The human element of capa-city building», RIRDC Publication, núm. 07/063, julio de 2007.

Roche, Chris: «Impact assessment: seeing the wood andthe trees», Development in Practice, vol. 10, núm. 3 i 4, p. 543-555(13), 1 d’agost de 2000.

Rowlands, Jo (2003): «Para salir de su zona cómoda: algunos temas, preguntas y desa-fíos al pensar en enfoques y métodos para el desarrollo», Métodos y Enfoques para el Desarrollo. Reflexiones críticas, oxfam gB.

Savedoff, W.; Levine, R., i Birdsall, n. (2006): «When will we ever learn? Improving lives through impact evaluation», Center for global development, Washington, d.C.

Segone, Marco: «Evaluación democrática: Una propuesta para fortalecer la función de evaluación en agencias internacionales de desarrollo», Documento de Trabajo, núm. 3, UnICEF, maig del 1998.

Smith, Maaike (2007): «We’re Too Muchh in To do Mode: Action research into suppor-ting International ngos to learn», InTRAC.

InTRAC: «ngos and impact assessment», NGO Policy Briefing Paper, núm. 3, març del 2001.

InTRAC: «Seguimiento y evaluación del em-poderamiento», document de consulta, novembre del 1999.

Keijzer, niels: «Mapping of approaches to-wards M&E of Capacity and Capacity de-velopment», ECdPM (European Centre for development Policy Management), juny del 2006.

Krohwinkel-Karlsson, Anna (2007): «Knowled-ge and Learning in Aid organizations– A literature review with suggestions for furt-her studie», Sadev Working Paper.

Leen, Maura (2006): «ngo Accountability: Is-sues, lessons and challenges for dochas and its members», Dochas Working Paper.

nash, Robert; Hudson, Alan, i Luttrell, Ceci-lia: «Mapping Political Context: A Toolkit for Civil Society organisations», overseas development Institute, juliol del 2006.

navarro, Hugo: «Manual para la evaluación de impacto de proyectos y programas de lucha contra la pobreza», Instituto Latinoa-mericano y del Caribe de Planificación Eco-nómica y Social (ILPES), Santiago de Chile, juny del 2005.

oCdE (2006): Principios de GpRD en acción: Libro de consulta de buenas prácticas reci-entemente identificadas, Banco Mundial.

oECd (2001): «Evaluation Feedback for Effec-tive Learning and Accountability», Francia.

oficina Regional para América Latina y el Ca-ribe. UnICEF (1998): «Evaluación demo-cràtica», Documento de Trabajo núm 3.

216

Technical Centre for Agricultural and Rural Cooperation (CTA), Països Baixos.

diversos autors (2006): «new Trends in de-velopment Evaluation», Evaluation Wor-king Papers, núm. 5, UnICEF.

diversos autors (2006): «Principios de gpRd en acción: Libro de consulta de buenas prácticas recientemente identificadas», oCdE.

diversos autors: «La Evaluación de Impacto y el Ciclo de Proyecto», Banco Mundial, maig del 2006.

Watson, david: «Monitoring and evaluation of capacity and capacity development», EC-dPM (European Centre for development Policy Management), Discussion Paper, núm. 58B, abril del 2006.

World Bank Institute (2006): «Analyzing social capital in context. A guide to using qualita-tive methods and data», Washington, d.C.

Zenz, Adrian: «Evaluating Empowerment: The World Vision Area development Pro-gramme».

Bibliografia del capítol 4Eade i Ligteringen (2001): «ngos and the fu-

ture: taking stock, shaping debates, chan-ging practice. debating development».

Edwards, M., i Hulme, d. (2005): «non-gover-nmental organizations performance and accountability: beyond the magic bullet», Publicació d’Earthscan en col.laboració amb Save the Children, Londres.

Feinstein, o., i Ingram, g.: «Lessons Lear-ned from World Bank Experiences in Joint

Smulovitz, Catalina (Universidad di Tella, Ar-gentina), i Walton, Michael (Banc Mundi-al): «Evaluating Empowerment», Región Latinoamericana y Caribeña, Banc Mundi-al, novembre del 2002.

Stufflebeam, daniel L.: «Foundational Mo-dels for 21 Century Program Evaluation», The Evaluation Center, Western Michigan University, The Evaluation Center Occasio-nal Papers Series, 1 de desembre de 1999.

Tavistock Institute: «The evaluation of socio-economic development. The guide», de-sembre de 2003.

URd (Urgence Rehabilitattion développe-ment), CoMPAS QUALITÉ, Cuadro Sinóp-tico.

USAId (Center for development Information and Evaluation) (1996)): Conducting a par-ticipatory Evaluation, núm. 1, Washington, d.C.

Vahlhaus, Martina, i Kuby, Thomas: «guide-lines for Impact Monitoring in Economic and Employment Promotion Projects with Special Reference to Poverty Reduction Impacts. Part I: Why do Impact Monito-ring? - A guide», deutsche gesellschaft für Technische Zusammenarbeit (gTZ), Eschborn, març del 2001.

diversos autors (2003): «Evaluating Capacity development. Experiences from Research and development organizations around the World», International Service for nati-onal Agricultural Research (ISnAR), Països Baixos; International development Re-search Centre (IdRC), Canadà, i ACP-EU

217

dad?», Documento de Trabajo, núm. 40, FRIdE, juliol del 2007.

Preskill, Hallie, i Torres, Rosalie T. (1997): «Buil-ding the infrastructure for evaluative inqui-ry», ponència presentada a la Reunió Anual de l’Associació Americana d’Avaluació, San diego, CA.

Roper i Pettit: «development and the Learning organisation: an introduction», Develop-ment in Practice, vol. 12, núm. 3 i 4, p. 258-271, agost del 2002.

Segone, Marco: «Evaluación democrática». Cuadernos de Trabajo, UnICEF, maig del 1998.

Smillie, I. (1995): The Alms Bazaar. Altruism under fire. non-profit organizations and in-ternational development, IT Publications, Londres.

Tandon, R.: «Riding high or nosediving: de-velopment ngos in the new millennium», Development in Practice, vol. 10, núm. 3 i 4, 1 d’agost del 2000.

Evaluation», ponència presentada al taller del development Assistance Committee Working Party on Aid Evaluation «Partners in development Evaluation: Learning and Accountability», París, 25-26 de març de 2003

Fowler, A. (1997): «Striking a balance: A gui-de to the management of ngos», Earths-can, Londres.

Hailey i James (2002): «Learning Leaders: The Key to Learning organisations», Deve-lopment in Practice, vol. 12.3, p. 398–408.

Larrú Ramos, J. M.: «Razones para implantar un sistema de evaluación en las ongd y sus consecuencias», Revista de Fomento Social, núm. 228, p. 683-710, octubre-de-sembre 2002.

Lister, Sarah: «The future of international ngos. new challenges in a changing world order. A paper for Bond’s ngo Fu-ture programme», Bond, abril del 2004.

Meyer, S: «La cooperación española para el desarrollo: ¿Aspiraciones hechas reali-

obra social. l’Ànima de ”la caixa”. · 2009-11-30 · 9 enfortir, en les seves activitats,...

Documents