EVALUARPARA LA ,TRANSFORMACIONInnovaciones en la evaluaciónde programas y proyectos sociales

Oiga NirenbergJosette BrawermanVioleta Ruiz

EVALUAR PARA LA TRANSFORMACiÓN

II

•

TRAMAS SOCIALESDirectora de colección:Lic. Irene Gofman

20. S. Checa (comp.)Género, sexualidad y derecbos reproductivos en laadole.\'cencia

21. T. PuigLa cormmiwcirín 'l1lUnicipal crímplice con los ciud{ulanos

22. M. Caracciolo Basco y M. LaxaldeEconomía .mlid{lria y capital.mcial

23. M. MonteroIntT'oduccirín a la psicología C017lU7Útaria

24. H. Lejarraga (comp.)De,wrrollo del nifio en contexto

25. G. KesslerDelito, exclusirín y juventud

26. V. RuizLa.\' orgrmizacione.\' c07mmitaria.\' y gestirín asociada

27. M. MucciP~;icoprojilaxis qltirÚrp;iw

28. T PuigSe awbrí la diversirín

29. F. ElíasLa adopcirín de niiios como cuestÚin social

Si desea recibir información mensual de nuestras novedades/publicaciones,y ser incorporado a nuestra lista de correo electrónico, por favor envíenoslos siguientes datos a difusión@editorialpaidos.com.arNombre y apellido, profesión y dirección de e-mai!.

EVALUAR PARALA TRANSFORMACiÓNInnovaciones en laevaluación de programasy proyectos sociales

OLGA NIRENBERGJOSETTE BRAWERMANVIOLETA RUIZ

~I"~PAIDÓS

BuenoS AiresBarcelona

México

mailto:difusi�n@editorialpaidos.com.ar

Cubierta de Gustavo MacriMotivo de cubierta: Fragmento de Paisaje de Céret (1913) de ,Juan Gris

- --------- ..----- ...-------.

LAS AUTORAS

302.3NIR

Nirenberg, OigaEvaluar para la transformación: innovaciones en la

evaluación de programas Y progmmas sociales / OigaNirenberg, Josette Brawerman y Violeta Ruiz.- 1" ed_2" reimp,- Buenos Aires' Paidós, 2005.

224 p. ; 21x13 cm.- (Tramas sociales)

ISBN 950-12-450S-X

1. Brawerman, Josette 11. Ruiz, Violeta 111. Título -1. Interaccíón Social Intergrupal

1" ediciÓn, 20001" reimpresiÓn, 200:!2(1 reilnpresiÓn, 2005

Quedan rigurosmnente prohihidas, sin In auLori~aciÓn (~scrita de los titulares del copyright,bajo las sanciones establecidas en 1

Oiga Nirenbax, ]o.\'ette BTtlwC'rman, Violeta Ruiz

Argentina. En la actualidad es miembro del equipo técni-co de CEADEL y consultora del área de evaluación delPrograma Materno Infantil y Nutrición (PROMIN, Mi-nisterio de Salud/BJRF) y del Programa de Atención a Ni-fíos y Adolescentes en Riesgo (ProAme, Secretaría de De-sarrollo Social/BID).

Violeta A. RuizEs socióloga (UBA), con estudios en Programación

Social. En 1997 recibió el Premio Adeba por el trabajopresentado sobre la evaluación del Programa MaternoInfantil del Ministerio de Salud. Se desempeiló comoconsultora en programas sociales dependientes de distin-tas áreas de gobierno y Organizaciones de la SociedadCivil (OSe:). Ha coordinado y colaborado en evaluacio-nes de programas para la Dirección Nacional de GastoPúblico Social del Ministerio de Economía, CEADEL,UNICEF Argentina y programas dependientes de la Se-cretaría de DesarroUo Social de la Nación.

8

,INDICE

Prólogo, Leopoldo f1{tlperín 13Introducción 21

Capítulo 1: ¿Para qué la evaluación? 27lntroduciéndonos en tema 27La eva¡uaciÓn como momentoo funciÓn de la gerencia 29Intentando um definiciÓn 31EvaluaciÓn e investigaciÓn: bastantes similitudesy algunas diferencias 36Cambios en los estilos de evaluaciÓn 38La evaluaciÓn para ]a transfÓrmaciÓn 42Aprendiendo con la evaluaciÓn y de eJLl 46E] proceso de la evaluaciÓn 48

Capítulo 2: Los tipos de evaluación 5]Antes, durante o después: siempre hay que evaluar 53Conjugando el verbo evaluar: ¿nos evaluamos o noseva]ú,ln? 58Los múltip]es propÓsitos de la evaluaciÓn 62

9

OIga Nirenberg, ]osette Brawerrnan, Violeta Ruiz

tnfasis segÚn temas: ¿qué evaluamos? 65Los distintos objetos posibles de evalmciÓn:¿tipos o niveles de análisis? 72Para evaluar las evaJuaciones 75La 11lultidimensionalidad de la evaluaciÓn 77

Capítulo 3: Los abordajes metodológicos 79Evalu~lciÓn cuantitativ~l y cualitativ~l.Un debate histt)rico 80¿p:valuaciÓn cuanti;ativa o cualitativa?Es,] no es la cuestl0n 85Una cuestiÓn central: el rigor metodol(o)gieo 91Actores y audiencias 96

Capítulo 4: Las técnicas de evaluación 105Acercíndonos a las técnicas 105Los diferentes tipos de técnicas 107¿Cómo decidir qué técnicas utilizar? 129¿Y sobre los instrumentos) 130

Capítulo 5: El diseño de un modelo evaluativo 1B¿Por qué un modelo? 133Los atributos dese~]hles de un modelo evaluativo 135Las partes que integnl11 un modelo evaluativo 138Parte por parte 138Las dimensiones del modelo evalu,]tivo 144Abriendo el ab,lllico de las dimensiones 148Seleccionando y definiendo indicadores 154Las técnicas y las fuentes 161Las pregunt,ls orientado1"

I\

PRÓLOGO

El título del libro Evaltunr par-a la transformación ade-lant;] 1;]intenciÓn de l;]s ;]utoras, fruto de su aquilatadaexperiencia en ]a formulaciÓn y evaluaciÓn de programassociales. Y esta intenciÓn se resume, a nuestro juicio, enla propuesta de una reflexiÓn profunda del significado dela evaluaciÓn como elemento clave en la programaciónde l;]s polític;]s sociales.

Es frecuente, en los análisis de esta problemática,confundir 1;]actividad de evaluaciÓn ~con los supuestosde racionalidad implícitos en ella- con la de programa-ciÓn. Atribuir a la programaciÓn -entendida como laasign;]ciÓn de recursos eJ;'ante- un carácter racional entodos los casos induce a error. Ll programación, comometodología de asignaciÓn de cualquier tipo de recursoen la sociedad, puede ser racional o irracional tanto enobjetivos como en métodos, y es de suma importancia te-ner en claro este punto al abordar este tema, especial-mente en la evaluación de programas_

En este trabajo, Nirenberg, Brawerman y Ruiz hacenun minucioso análisis del significado de la evaluación en

13

OIga Nirenlmg, ]o.,ette Brawernum, Violeta Ruiz

la programación, particndo del entcndimiento claro ysimple (pero pocas veces incorporado en los textos) dcque la evaluación no es una parte inicial o final del pro-ceso de creación u opcración de un proyecto o programasocial, sino que se trata de un elemento constitutivo e in-separable del mismo. Es el nÚcleo motor de la racionali-dad de la que debiera estar dotado todo proyecto desti-nado a modificar una realidad social, desdc el comien/',ohasta m~ls allá dc su finalización, desde las ideas inicia!esque guían al programador cn su discño hasta el momcn-to en quc, cumplidos los objetivos, cs ncccsario rct1exio-nar tanto sobrc los efectos dc lo propuesto y actuado co-mo sobre las consccuencias -deseadas y no dcseadas- delos proccsos que se han pucsto cn marcha.

En este sentido, en todo el texto hay un explícito recha-zo a pensar la evaluación como un momento aislado, parcialy confInado en el tiempo, reafirmando el papel del "apren-dizaje" que ésta brinda como punto de partida y de llegada,de prueba abierta y permanente basc de nuevas propuestasy gestiones super~](loras en la política y en la gesti{m social.

Un '11l.ilisisapresur:Hlo podría llevar a confundir estaconcepciÚn de la evaluaciÚn con la racionalidad que We-ber' define como propia de la modernidad y del Glpita-lismo, racionalidad instrumental u operativa en la que fI-nes, medios y condiciones son analizados por el actor yesto le permitc elegir las conductas que lo lIevar:ín, conlos medios disponibles, a alcan/',ar los fines "racional-mente seleccionados". A su vez, Mayntz/ profundizando

1. Weber, M.: eCOnO'lIIÍII} slIciedilll, México, Fondo de Cultura l':con,',-miea, 19(,4.

2. Mayntz, R.: Sociologíll de Illlld'llliniSl'mcirín />Úbliur, iVbdrid, Ali:1Ilz.:l,1994.

14

I

Pnilogo

esta caracterizaclOn, en su an.ilisis del sistema (modelo)político-administrativo moderno, re define el problcmade la racionalidad instrumental en la gestión del subsis-tema administrativo, mostrando las variaciones quc re-gistra ésta de acuerdo con la ampliación y evolución desus funciones. En la etapa constitutiva del Estado moder-no, tanto en el absolutismo fundante como en el períododel Estado gendarme del liberalismo, el predominio defunciones como las de recaudación, orden cxterno c in-tcrno hacen que dominc una racionalidad burocrática,cuyo criterio de éxito se basa en el apego a la norma, in-dependientemcnte de los efectos que ella tenga.

La propia evoluciÚn del Estado, en el posterior perío-do democdtico de participaciÚn, se acompafía dc nuevasfunciones (obras pÚblicas, desarrollo económico, políti-cas de biencstar social) y se corresponde con un nuevomodelo de gestiÚn, el dc la planificación, cuyos criteriosde éxito (y racionalidad) se basan en el cumplimiento dc"metas" quc sustituyen la racionalid:Hl burocdtica. Dceste modo, para las autoras, coexisten en el seno del Es-tado dos tipos de racionalidad instrumcntal, con distin-tos argumentos.

Pese a esta distinciÚn que surge de los paradigmasnormas-metas, la base dc r:lcionalidad sigue teniendo ca-racterísticas parciales, de tipo instrumental. Así concebi-da, la racionalidad del planificador, aunque distinta de ladel burÚcrata, se detiene en el momento en que alcanzÚel objetivo propuesto en el plan o proyccto. La exigencia-como atlrmamos- es llegar a la meta, cumplir acabada-mente c01110s fines del plan. En ambos casos, la raciona-lidad aparece como un elemento fragmentado, dada sudefinición instrumcntal, es decir, parciaL

lS

__ -------------- -IIIIIIII,". ·---II1IIII1IIl1li111, •• _

Oiga Nirenberg, Josette Brawermfm, Violeta Ruiz

Esta concepción limitada se contrapone con la racio-nalidad asociada a la evaluación, que constituye el mode-lo de la propuesta contenida en este libro y que R. Gó-mez3 (utilizando los criterios epistemológicos de K. O.Apel) caracteriza como comprehensiva, en tanto discute oelucida la propia racionalidad (y justeza) de los fines quese persIguen.

La mera racionalidad instrumental, restringida y frag-mentaria, está irremediablemente ligada a una concep-ción de la sociedad y su organización, y elimina la refle-xión sobre las consecuencias de la acciÓn, con un notorioempobrecimiento y limitación en el análisis, tanto a ni-vel epistemolÓgico como de la propia concepción de lasociedad, de su organización, de los "modos aceptadoscomo racionales y para la acción social misma".

La propuesta evaluativa que se aborda en este texto-en tanto elaborada COl110 proceso que abarca y contienetodo el desarrollo del plan o proyecto, sometiendo a crí-tica sistemática no sólo los fines seleccionados y el ajustede la operación a éstos sino además, y fundamentalmen-te, los efectos deseados y no deseados de la implementa-ción, y aun el propio ejercicio de la evaluación misma,mediante la "metaevaluación"-, supera los límites de larazón instrumental y de la crítica expuesta.

Un elemento destacable de esta propuesta es el de laprofuwb asociación que se establece en el texto entre eva-luación y método científico, relación estrechamente ligadaa la concepción de racionalidad anteriormente expuesta.Sin embargo, esta asociación está lejos de identificar am-bas actividades, e ignora sus diferencias. Recuperando la

3. CÓmez, R.: Ncoli/Jcralis71Ioy sClIdocicIlcill, Buenos Aires, Lugar, 1995.

16

fJrólogo

distinción que Bungé hace entre ciencia y tecnología, laprogramación-evaluación aparece firmemente encuadradaen los cánones del método científico, respondiendo a susexigencias de prueba y verificación, pero con identidadpropia, en tanto acción práctica dirigida a la transforma-ción, a la operaciÓn sobre la realidad social.

Un aspecto sobresaliente del trabajo reside en el es-fuerzo didáctico con que se ha asumido la tarea a lo lar-go de los seis capítulos que componen el libro.

Desde el análisis minucioso de la propia definición deevaluación y sus implicancias, sus vinculaciones con elmétodo científico, los criterios de validación y operacio-nalizaciÓn, el análisis de las técnicas hasta la matriz deevaluación, la metodología expositiva elegida privilegiaen todos los temas tanto la desmitificaciÓn de cuestionesaparentemente irreductibles (como es, por ejemplo, laaparente antinomia entre lo cuantitativo V.I'. lo cualitati-vo en investigación social), como las definiciones senci-llas y accesibles, tanto para quien se asoma por primeravez a estas cuestiones como para los especialistas intere-sados en otras perspectivas analíticas.

El tratamiento de estos problemas resulta relevante ennuestro país, particularmente en el ,1mbito de las políticassociales, dado que éstas muestran -con escasas excepcio-nes- una generalizada orf:mdad tanto en la evaluación co-mo en la formulación y gestión de programas y proyectos.

Resulta doblemente paradójico que esto ocurra en laArgentina, a la luz de su temprana vocación en la formu-lación de programas sociales y de salud a partir de la dé-cada del cuarenta, ya que al mismo tiempo, y en sentido

4. Bunge, M.: ¿Qué es la ciencia?, Buenos Aires, Siglo XXI, 1960.

17

0Zf!;aNirenbelX, ]osette Bra7vernum, Violeta Ruiz

contrario, aun con distintas definiciones, en el resto deAmérica Latina, países como Chile, Venezuela y Cuba,entre otros, han recurrido al modelo de la planificacióncomo método de enfocar su problemática social.

Seguramente son mÚltiples los bctores que explican]a renuencia del sector pÚblico a incorporar la programa-ción (y la evaluación) con estos criterios de racionalidaden la gestión de los programas sociales. Entre eI]os, cons-tituye un elemento de peso la prevalencia en el subsiste-ma administrativo del Estado argentino de una "cu]tur~lexcesivamente burocrática", que se ha convertido en laorientación cuasi universal de toda gestión de Estado,trascendiendo los periódicos cambios de gobierno e,incluso, la alternancia entre modalidades democr:1ticas yautoritarias que se sucedieron en los Últimos cuarentaaños.

De este modo, en la formulación y ejecución de la po-lítica soeial, aunque las acciones y los propósitos se eti-queten con frecuencia con el nombre de "programas" yrecurran en no pocos casos a la liturgia formal de la pro-pia programación, sus criterios de ejecución, racionali-dad y éxito se atienen a los c:1nones estrictos del procedi-miento contable, siendo el principal, ya veces el Únicocriterio de ejecución, su apego a] reglamcnto ya las nor-m:1Sde contabilidad pÚblica.

Esta característicl neg:ltiva "administrativista" que ti-fíe la política social argentina no puede desvincularse delpropio accionar del subsistema político en el marco delEstado. Esto se debe, a nuestro juicio, en parte, a una fa-]encia generalizada de dicho subsistema (e] político), elcual, además de carecer de información y condicionestécnicas que le permitan limitar y controlar eficazmenteel poder real del subsistema administrativo, se ha volca-

/8

J.~

¡i'_

I.

Prólogo

do crecientemente a utilizar las políticas sociales con unsentido fuertemente clientelístico, y para cuyo ejerciciola programación y la evaluación resultan superfluas.Igual consideración merece, a nuestro juicio, la gestiónen las políticas sociales de un número importante deONG, que han pasado a formar parte subsidiaria de lacadena mencionada de acciones clientelares.

El conjunto de estas consideraciones nos permite afir-mar que sin eluda la lectura de Evaluar para la tran.~fór'l¡ta-ci()n es ineludible, sobre todo para quienes asuman la ta-rea de la planificación social, para todos los que deseanresolver las cuestiones que preocupan a Alicia (y no sóloa ella) acerca de dónde est~1 parada y cómo llegar a] findel camino.

Lv( HJ( )L[)() HALPVRíNagosto de 1999

19

INTRODUCCIÓN

La imagen que nosotros construimos de la sociedad, lac011strlli'lJlospara los ingenieros bidniulicos, para losjardi-lUTOS ... y paj'{/ los TCvolucionarios. Todos ellos son invitadosa JljU'stro tcatro y les pedimos que no oluidcn su into-fs enla TC¡lresentacirJncllando estén con IUJ.,·otros,porqne querc-1110Svolcar el 'lJIundosobre sus cere/n'osy sus coraz.(mes, ¡!li-ra que puedan annbiar!o de {{cuerdo con sus deseos.

BFRTO¡;¡' BRF.CIIT1

En este libro nos dirigimos fundamentalmente aaquellos que desarroJlan acciones sociales, ya sea que for-mulen o que ejecuten programas o proyectos, tanto des-de organizaciones de la sociedad civil como desde distin-tas áreas de los diferentes niveles gubernamentales. SoneJlos o ellas quienes se habrán visto más de Uil

Oiga Nirenbezg, ]osettc Brawcmzan, Violeta Ruiz.

no del aprendizaje compartido entre quienes participande las gestiones de los programas o proyectos, de modoque sean capaces de provocar las transformaciones nece-sarias en las situaciones insatisfactorias y en los modos deactuar para su resolución.

Cuando decimos que nos importa la evaluación parala transformación, hacemos referencia a] menos a dosniveles en los que las transformaciones deberían produ-cirse. Uno es e] de contribuir a modificar las situacio-nes de adversidad, vu]nerabilidad o inequidad en que seencuentran ciertos grupos pob]aciona]es; como aclara-remos posteriormente, todo proyecto o programa so-cial se formula para cambiar situaciones de ese tipo, y laevaluación debe mostrar en qué medida se produjo elcambio deseable y debido a qué factores. Otro es mos-trar de qué manera las acciones desplegadas para pro-ducir esas transformaciones resultan o no las adecuadas,y qué cambios se aconsejan introducir en la forma dehacer las cosas. De modo que principalmente estamoshablando de evaluación para la acción transformadora.

Compartimos el pensar de Krishnamurti (199H) acer-ca de que no podr

OIga Nirenberg, ]osette Brawerman, Violeta Ruiz

como función de la gerencia, es decir, incluida en la ges-tión social. El segundo capítulo hace una recorrida por lastipologías usuales de la evaluación en la literatura consul-tada y, como ya advertimos, se abordan algunas discusio-nes aclaratorias a] respecto. En el tercer capítulo habla-mos de los abordajes, de los falsos dilemas entre las cifrasy las palabras -lo "cuanti" y lo "cuali"- que envolvierondurante años la cuestión de la evaluación y que ahora pa-recieran ir superándose, aunque no del todo, concluyen-do que es el rigor metodo]ógico lo que importa en lasevaluaciones y que es sólo mediante la subjetividad demuchos diferentes que se puede resolver la subjetividadindividua], aislada e idéntica a sí misma. El cuarto capítu-lo presenta una reseña de las técnicas a las cuales puederecurrir ]a evaluación para generar o recopilar y analizarinformación, sin pretender con eso tratar ]a cuestión deforma exhaustiva, pues es tal e] caudal de técnicas existen-tes que se requeriría un libro sólo para ese desarrollo; sinembargo, hemos incluido algunas que nos parecieron no-vedosas y también discutimos algunas otras que Última-mente se levantaron a] nivel de "métodos", pero que con-tinúan siendo herramientas simples y útiles a disposiciónde los eva]uadores (como las relacionadas con "evaluacio-nes rápidas" o de rtlpid m:\'c.\TtJ1CJZt).

Finalmente, los capítulos quinto y sexto forman unsolo bloque pero los hemos dividido para dar un respiroa los eventuales lectores. En el quinto se describen las ca-racterísticas y los pasos del proceso de diseño de un mo-delo evaluativo, y en el sexto recorremos las fases de suaplicación y de la diseminación de los hallazgos, las con-clusiones y las recomendaciones producto de la evalua-ción, cuyo meollo es el informe evaluativo. En los anexos

24

Introducción

se incluyen ejemplos que ilustran los pasos descritos ene] capítulo quinto.

Las autoras tuvimos la fortuna de trabajar en diferen-tes escenarios de las políticas sociales durante nuestra vi-da profesional, que ya lleva muchos años, más de los quenos gustaría numerar. Dedicamos a la evaluación granparte de los Últimos diez o quince años. Por un lado, tra-bajamos en el marco de programas dependientes del Es-tado nacional, pero con ejecución en ]os niveles locales,en algunos casos con financiamiento bilateral o bien delpresupuesto nacional exclusivamente; también comomiembros de una organización no gubernamental para eldesarrollo social; asimismo, como consultoras en el mar-co de fundaciones o agencias de cooperación internacio-nal para el desarrollo. De modo que estamos muy agra-decidas

Oiga Nirenberg, }osette Brawe17nrm, Violeta Ruiz;

te sus ámbitos de trabajo, para que juntos pudiéramosaprender a partir de ]a práctica. Es a esos amigos yami-gas, compatriotas o de otros países del continente, aquienes va nuestro especia] reconocimiento y nuestrodeseo de que este libro les resulte Útil en ]a hermosa pe-ro sacrificada tarea que eotidianamente llevan a cabo.

Queremos también expresar nuestro agradecimiento,por su colaboraciÓn crítica e inteligente, a dos respetadosamigos, que hicieron e] esfuerzo de leer nuestros borra-dores; ellos escribieron con Lípiz, de form~l sintética y enlos márgenes, sus observaciones, las que] uego debimosredactar, tipear y colocar en el centro de] texto, por surelevancia. N ucstro reconocimiento entonces a NéstorPerrone ya Pablo Vinocur, por sus acertadas e importan-tes contribuciones. Ojalá hayamos podido interpretar suscomentarios y expresarlos adecuadamente; pero es nues-tra absoluta responsabilidad si, aun a pesar de ellos, sub-sisten los errores u omisiones.

Ahora llegó e] momento en que la crítica debe serpuesta en las mentes y las voces de nuestros lectores; de-searíamos que con ellos se constituya un nuevo diálogo,que permita hacer continuo el flujo de innovaciones enlos modos de realií',ar y evaluar ]a acciÓn social.

CAPITULO 1¿Para qué la evaluación?

¿NIe podrílls indicar hacia dónde tengo que il" de.,-deIlqUí?,preguntÓ Alicia.Em depellde de ({dóllde quier'as Ilegal", contestÓ el Cato./1 mí 110 mc impol"t({ demasiado adónde ... , empezÓ ,) de-eir Alicia.[1,11 ese CIlW)dll igual adándc vay"s, interrumpiÓ el Gato .... siempl"e que llegue a "Z~'1I77apllrte, terminÓ Alicia, amodo de explicaciÓn.i0f¡l, sicl!lpn llegllnil'IlIlIglll1l1/JlI1·te, dijo el Cato, si (¡{-millil.\' lo bastllute.

LEWIS Ci\RROLL 1

Introduciéndonos en tema

E] bmoso diálogo entre la ingenua Alicia y el Gatosagaz resulta Útil para abordar la cuestión de la evalua-ciÓn en los programas y proyectos sociales.

Alicia nos habla de la direccimzalid/ld cuando preguntahacia dÓnde tiene que ir; esa pregunta, tan frecuente enla acciÓn social, adopta diferentes formas: ¿cmll es la di-reccionalidad deseable para nuestro proyecto?, ¿nos es-tamos dirigiendo hacia donde nos proponíamos?, ¿enqué medida estamos transitando procesos que nos llevan

1. Carroll, Lewis: /Ilicill el! ell'llil- de 111.1'Nlmm'illlls, Madrid, Akmza,I

Oiga Nirenberg, ]osette Brawerman, Violeta Ruiz

a obtener los resultados que nos propusimos? Y comosuele suceder con ]a mayoría de las preguntas, éstas pa-recen tener más de un sentido, y por ende más de unarespuesta.

Cuando uno se pregunta por la dirección correcta odeseable -que desde ya son dos cosas diferentes- se plan-ta frente a varias alternativas, frente a caminos que se bi-furcan; el grado de conocimiento o de incertidumbre quetengamos acerca de las dificultades o ventajas que cadacamino presenta, tendrá que ver con ]a decisiÓn acercade cuál tomar; no es sÓlo la distancia ]0 que nos inclina-rá hacia una u otra de las elecciones.

Adem~ls, A]icia no plantea su pregunta en abstracto.. \. " \1 ,,, "d \ 1S1110que e Ice e ese e aqm , o sea ese e este punto ( C)l1-

de ahora estoy"; eso permite inferir que de algÚn modoella llegÓ a ese punto donde en ese momento está para-da, hablando con e] Cato. ¿Fue errÓnea o correct~1 sumanera de llegar hasta ahí? Pareciera que est~l perdida,temerosa, y que muchos acontecimientos extrafíos, queno puede explicar bien, le están pasando mientras no sa-be exactamente dÓnde est~1. Un signo de la ingenuidadde A]icia es que ella no se cuestiona acerca de cÓmo lle-gÓ a donde está, sino que quiere saber cómo tiene queseguir desde allí. No se ha percatado de que, para seguir,debería analizar mejor cÓmo fue que llegÓ a donde lle-gÓ, para entonces preguntarse acerC1 de cuáles caminosalternativos existen y cÓmo son.

Una relevante afirmaciÓn, sugerida entonces por e]texto de Alicia, vinculada a la cuestión de la evaluaciÓnen los programas sociales es que para hacer algo, para in-troducir cambios en una situación no deseable o que nonos conforma -para ir a alguna parte- hay que tener ob-

28

¿Para qué la evaluacÚ5n?

jetivos claros y explícitos y hay que saber de qué manera10grarIos, por cuál camino ir, es decir, hay que saber la di-l'eccionalidad deseable. Incluso eso es así para quedarsedonde uno está, para decidir no hacer cambios.

Para que eso esté claro, previamente debimos plani-ficar, programar nuestras acciones en pro de objetivosexpresos, es decir, debimos formular un plan de trabajo.'lambién necesitamos saber desde dónde partimos, dÓn-de estamos parados; en otras palabras: debimos realizarun diagnristico de la situación problemática que intentamosresolver mediante nuestra intervención. Si no, ¿de quéforma sabremos luego si cumplimos con ]0 que nos pro-pusimos, si no podemos comparar confiablemente el es-tado posterior con el anterior? Obviamente, podemosllegar a cua]q uicr parte, sÓlo se trata de caminar lo bas-t~ll1te, diría el Gato.

La evaluación como momento o función dela gerencia

De lo que se trata es de identificar, corregir, poner"bajo contro]", la máxima cl11tidad de eventos que pue-dan oponerse a nuestra acciÓn o dificu]tarIa, de modo deobtener los Gunbios deseados en la situaciÓn que encon-tramos inicialmente como destlVorable. No cabe dudade que para eso debemos cumplir con procesos meticu-losos de reconocimiento de la realidad y de programa-ciÓn de acciones en plazos definidos de tiempo, contan-do con recursos accesibles.

La planifictlción o prognltlUlCÚ5n podría sintetizarse comola "rcf1exiÓn que precede y preside la acciÓn" (Mathus,

29

Oiga Nirenberp;, ]oJette Brawermrln, Violeta Ruiz

"'''''''''''''''~~~-~~-----'"----wII!~ I

¿Para qué la evaluación? I! I11: !

1987). En verdad, puede decirse que esa reflexión conti-nua, a medida que la acción se desarrolla, es propiamentela evaluación, la que alimenta con sus hallazgos la planifi-cación y gestión de los proyectos.

Visto así, se trata de un proceso que sólo concep-tualmente es separable, pues en ]a práctica el procesode planificación/ejecución/evaluación es una integri-dad indivisible, conformada por momentos -funcio-nes- en continua retroalimentación. Los teóricos de lasciencias de la administración engloban ese proceso enel concepto de "gerencia", y también se usa el término"gesti ón".

Queriendo transmitir metafóricamente esa cualidadintegral de la gerencia y dentro de la gerencia la funcióno momento de la eV~11uacjón, en una de sus brillantes ex-posiciones Paulo Mona" ]a comparó con el caso de unómnibus repleto de pasajeros, donde e] conductor debearreglar defectos del motor sin detener el coche y con to-dos los pasajeros dentro.

Pero aun sabiendo que resulta complicado, si no re-flexionamos sobre la acciÚn que desarrollamos mientraslos programas o proyectos se realizan, si no cuestiona-mos o mirarnos críticamente cÚmo llegamos a dondellegamos, difícilmente podamos responder a la pregun-ta de Alicia: ¿cÚmo seguir desde aquí?, y a 1

OIga Nirenberg, Josette Brawerman, Violeta Ruiz

permitirá destacar algunos de sus elementos esenciales,independientemente de la diversidad de propósitos, ti-pos y abordajes que se puedan encontrar:

Entendemos por evaluación de programas oproyectos sociales una actividad programada derejlexÚ5n sobre la acción, basada en procedimientossistemtiticos de recolecciÓn, análisis e interpreta-ción de información, con ]a finalidad de emitir

juicios valorativo,\' fundamentados y cormmicable.\' so-bre las actividades, resultados e impactos de esosproyectos o programas, y formular recomendacio-nes para tomar decisiones que permitan ajustar laacción presente y mejorar la acción futura,

Desbrocemos brevemente los pasos relevantes de esadefinición preliminar, aunque en los restantes capítulosvolveremos sobre ellos.

• Actividad progrtmzada: quiere decir que la evaluación-con todas las tareas que ella implica- debe ser pre-vista tal como las otras acciones del proyecto o pro-grama, puesto que es una actividad más. De ahí queen muchas guías de formulación de proyectos, en losúltimos tiempos, se ha incluido como ítem a formularel de la evaluación. Decir que la evaluación es progrtl-mable, significa, entre otras cuestiones, que debenatribuírse]e recursos específicos (personas idóneas,momentos y lugares específicos, equipos adecuados,insumos, dinero).

¿Para qué la evaluación?

• RejlexÚ5n .\'Obre la acción: ya se dijo que la evaluaciónconsiste en "detenerse" -no en el sentido absoluta-mente literal sino en el de distanciarse- para analizarqué es ]0 que se está haciendo (o se hizo), de quémodo, si ello se orienta según la direccionalidad de-seab]e, cuáles escollos y qué oportunidades se pre-sentan, y cuáles logros se han obtenido.

• Basada en pnJcedimientos sistC7ntiticos: supone una meto-dología y técnicas para la recolección y el an,)lisis dela información relevante que alimentará ]a reflexión yfundamentará ]os juicios valorativos que se emitanacerca de las actividades, los resultados y los impactosde los cursos de acciÓn implementados.

• Emitir" juicios valomtivos fil17dlrmentados y corml17imbles:" ..

es el núcleo de toda evaluación, e implica atribuir unvalor, medir o apreciar si se ejecutan las actividades deacuerdo con lo programado, si los resultados obteni-dos corresponden a los objetivos y las metas propues-tos, así como en qué medida ha mejorado la situaciónde los destinatarios de las ,lCciones como producto denuestra intervención. De lo dicho se desprende quepara evaluar siempre es necesario hacer comparacionessobre la base de las cuales se emitirán los juicios; cual-quiera que sea el objeto de nuestra evaluación se locontrasta!";) con un par

Olp,ll Nirell/!crg, ]osettc BraWeJ711[{11,Violeta Rui-::.

que se reaLiza cuando se comp;lran situaciones o esta-dos actuales de grupos poblacionales, contra sus situa-ciones o estados pasados, para saber qué cambió y po-der emitir un juicio acerca de si la situaciÓn esUí me-jor, peor o igual. Esa comparación contra sí mismo enel tiempo es a veces -sobre todo en los primeros tra-mos de la ejecuciÓn de un programa o proyecto- másrelevante que la otra, contra esdndares, pues aunquese concluya que se está lejos aÚn de lo desea ble -el es-tándar-, la situaciÓn puede haber mejorado muchodebido a la gnlVedad de la situaciÓn inici;ll o punto departida -"línea de base"-, y eso es en sí alt;lInente va-lorable y muy estimulante para los que ejecut;lI1 las ac-ciones, ya que la evaluación les demuestra los logrosobtenidos y les permite programar sobre mejores ba-ses. La fundamentaciÓn de nuestros juicios valorativosdepended de la consistencia y confiabilidad de la in-formaciÓn -cu;ll1titativa y cualitativ;l- que recojamos,al estilo de las "evidencias" que corroboran los testi-monios en un juicio frente a un tribunal. I,os juiciosvalorativos deben poder comunicarse a las audienciasidentificadas, lo que significa que se deben redact;lrinformes comprensibles y programar devoluciones delos h;lllazgos en modalidades adecuadas para la mejorcomprensiÓn por parte de los actores involucrados.

• F07711'lllm"recO'lilelUlacilJlles pam towm" decisiones I/ue pl'/"-rnitan (~j'llstm""y 'lllljol"al" la,l' acciones: la evaluaciÓn tienemúltiples aplicaciones y puede perseguir diferentespropósitos, pero de modo general intereS;l destacarque se trata de pensar sobre el hacer, para identificarerrores y problemas que dificultan la acci(m, para per-

¿Para qué la evalzulcilÍlI ('

feccionar la gestiÓn de un proyecto o programa, paraaprender de lo hecho -haya sido acertado o erróneo-,para introducir correcciones, e incluso para compro-bar que nuestro proyecto produce efectos no previs-tos, algunos de ellos no deseados; y finalmente, ¿porqué no?, para el reconocimiento social del esfuerzoreali7.ado y de los actores participantes que lo llevarona cabo. Sistematizar las lecciones aprendidas y brindar, apartir de ellas, las recomendaciones pertinentes cons-tituye uno de los meollos de la evaluaciÓn, segÚnnuestra perspectiva. Mediante los procedimientos dela evaluaciÓn reconocemos los logros y las fortalezasde la acciÓn desarrollada, así como los obstáculos y lasdebilidades; !as recomendaciones en general debensugerir apoyamos en las fortalezas, a modo de palan-ca, para superar o saltar las dificultades. Y deben ser-vir a todos aquellos que toman decisiones en los dife-rentes niveles, no sÓlo a los "gerentes" o directores delos programas o proyectos, sino también a aquellosque en la tarea cotidiana, en el e,I'ccnm"io donde se baccnlas COSa,I",deben tomar decisione's operativas. Ya se di-jo: el momento de las recomendaciones es la intersec-ciÓn entre la evaluaciÓn y la reprogramaciÓn; de laprofundÍlLHI y pertinencia de las recomendacionesque se formulen depended la utili(bd de la evalua-ciÓn y, por ende, b viabiLidad de su aplicaciÓn poste-rior en la toma de decisiones y en b acciÓn.'

3, ":n el clpÍtulo 3 se ver,j que J:¡ vi'lhili,J:¡d de I

Olp,a Nirelllierx, .loscttc Bnzwc1711all, Violeta Rui::.

Evaluación e investigación:bastantes similitudes y algunas diferencias

Una evaluación no es equivalente a una investiga-ción, aun cuando comparte muchos de sus procedi-mientos. La investigación busca fundamentalmente in-crementar el cuerpo de conocimiento, estableciendorelaciones entre hechos, fenómenos, situaciones, etc.,mientras que la evaluación se preocupa ante todo por elperfeccionamiento de la acción y compromete esen-cialmente un juicio de valor. En suma, "b evaluacióndebe ocuparse fundament~llmente de los posibles Clm-bios en un programa existente" (llamilton Smith,1981). La investigación termina con conclusiones acer-ca de cómo oculTen los hechos, alimenta la teoría y elcuerpo de conocimiento sobre cierto segmento del sa-ber, mientras que una evaluación debe terminar con re-comendaciones que l1even a modificar lo que se veníahaciendo, o bien a agregar nuevas acciones (lo cual, sinduda, se funda en un "saber" acerca de cómo oCUlTenL1Scosas y en ciertas hipótesis acerca de c(mlO debieranocurrir).

'Emto lo expuesto en el acápite anterior como lo re-cién expresado permiten concluir que son las ¡'I'CO'lI1I''l1(!ff-ÚI)J7I'.\' para la toma de decisiones las que distinguen laevalu~lción de b investigación; no pareciera lógico pen-sar en una evaluación por el solo hecho de describir yemitir un juicio sobre cómo se hacen bs cosas, si no se leagregan las recomendaciones emergentes para decidirsobre los cursos de acción y cambiar lo que se detecte co-mo mejorable.

,{¡

¿Para qué la evaluacilíll;--

El proceso de explicación o fundamentación de losjuicios evaluativos es similar al de la ciencia; el rigor enlas formas de llegar a emitir aseveraciones certeras escompartido. No se trata sólo de criticar o de elogiar, hayque fundamentar las aseveraciones -para distinguidas delas creencias, las opiniones o los juicios emocionales-,para luego, a partir de esas explicaciones o fundamenta-ciones, poder emitir las recomendaciones que permitansuperar deficiencias o profundizar las ventajas y~l obteni-das con la ~lCción desplegada.

Por lo tanto, no hay límites demasiado precisos entrela evaluación y la investigación; cuando se pone a prue-ba una modalidad de intervención considerada innova-dora, la evaluaci(JIl, en tanto incluye un proceso riguro-so y sistem~ítico de recolección de inf~)fInación paraemitir juicios y recomendaciones, sirve además paraprobar la eficacia de la intervención innovadora, comp~l-rándola con otras formas tradicionales de intervenir enel mismo problema. Pong~lmos como ejemplo los pro-yectos que desarrolLlIl modalidades de comp]emenLl-ción escolar con un abordaje lÚdico e integral, inclusivodel seguimiento del rendimiento del niílo en la escuela,en articulación con maestros o maestras, en lugar del~lIlterior modo de apoyo escobr con clases enfocadas ex-clusivamente a "ayudar a hacer los deberes". La evalua-ción de proyectos con los dos abordajes y la compara-ci(m entre ~lmbos pueden permitir detectar que la nuevamo(blidad es m~ís I'f/Ul2., mostrando evidencias de quelos nifíos cubiertos bajo eS;lnueva forma de intervencióntienen m,lyor rendimiento en la escuela y menor índicede deserción o repitencia que aquellos que se cubrencon el método tradicional, y porque adem~ís b primera

37

OIga Nirenberg, ]osette Brawer71ulfl, Violeta Ruiz

es sinérgica, e, ya que se logran otros resultados no especí-ficos o buscados primariamente, como puede ser la incor-poraciÓn de hábitos positivos de autocuidado, de higiene,de relaciones con los pares y en la t~llnilia, entre otros.

El ejemplo previo es un caso en el que la evaluaciÓnpuede ser vista también como investigaciÓn, ya que posibi-lita el avance del conocimiento a partir de la sistematiza-ción de la práctica. TUllbién permite recomendar mejoraspara la acciÓn (aun dentro de la misma modalidad innov,~-dora), pues se puede descubrir algÚn caso entre los analI-zados donde, además de las actividades IÚdicas y de articu-laciÓn con las maestras de las escuelas, se agrega la interac-ciÓn periÓdica con los padres, para concientizarlos acercade las ventajas de los nuevos modos de llevar a cabo lacomplementaciÓn escolar, lo que redunda en mejores re-sultados. Ese hallazgo implicará recomendar también acti-vidades concretas dirigidas a los bmiliares de los nifíos,promoviendo así enfoques más integrales. Resumiendo: esmuy sutil la distinciÓn entre evaluaciÓn e investigaciÓn.

Cambios en los estilos de evaluación

Las concepciones y los modos de evaluar fueron cam-biando en paralelo con los cambios ocurridos en los pa-

4. Max-NeeF (1

II 41 1,1I ~

L- -~.-~,___ ,,.,., J L

.-----~~-~-_._.-----

Oiga Nin:71/Jc1X, ]osctte BraLVe1771a77,Violeta Ruiz.

decidir la continuidad o no de determinadas líneas deproyectos), pero tal vez menos para quienes están direc-tamente involucrados en la gestión.

Otro camino difundido, dentro de ese modelo de pla-nificación vertical o "de línea recta", consistía en compa-rar, también en la Última etapa de ejecuciÓn o incluso ~lposteriori, las metas previamente establecidas con las quese habían efectivamente alcanzado, complementando estacomparación con una explicación (o justificación ex post)de las discrepancias encontradas. Este camino suponía quelo "planificado" debía traducirse casi mecánicamente enacciones sin tener en cuenta el contexto organizacional ylas racion~llidades de los diversos actores en su ejecución.

En la actualidad, con el amplio desarrollo de las me-todologías de planificación estratégica y/o pan-icipativa(que fueron desplazando lentamente, aÚn no del todo, alos modelos verticales), se reconoce que el proceso deplanifi.cación/program~lción no responde a una racionali-dad lineal, que los actores involucrados en la gestión yejecución reinterpretan perm~ll1entemente los objetivosbuscados a través de su ,lccionar, en síntesis, que todo elproceso de la gestión social está signado por grandes do-sis de incertidumbre, en gran parte COIllOproducto de lan~lturaleza del contexto en que se desarrolla.

Esa incertidumbre es t~l111bién producto de la propianaturaJe¡"l del desarrollo teórico y de las tecnologías uti-lizadas en las disciplinas sociales y en el campo de la ac-ción social, en comparación con las ciencias ex,lct~lS o na-turales y sus campos de aplicación, como la ingeniería ola electrónica. Vale decir: en las cienci,ls sociales no hayuna {¡nicl escuela o un paradigma dominante de formaexcluyente, como ocurre en Ull determinado período his-

-111

¿Pam qué la evaluación?

tonco con la física o la biología, sino que coexisten di-versas corrientes, en algunos casos contradictorias entresí -paradigmas rivales (Khun, 1970)~, en otros con dife-rentes enfoques o énLlsis (caso de las teorías del apren-dizaje y las metodologías para la lectoescritura en psico-pedagogía, o las diferentes corrientes en metodologíaspara la planificación participativa, las diferentes escuelasde la psicología social y la influencia de ellas en la deter-minaciÓn de las técnicas más eficaces para las dinámicasgrupales). Por ende, no existen certezas acerca de cuÚlesson los requerimientos mínimos para la correcta aplica-ción de las diferentes corrientes teóricls.

La evaluación puede verse entonces como una res-puesta a la necesidad de reducir esa incertidumbre en ca-da uno de los momentos de la acción, para reconocer silos esfuert,os esdn "correctamente" encaminados. Es de-cir que se requiere una retroalimentación continua en laimplementación para ir corrigiendo sobre la marcha loscursos de acción teniendo en cuenta las cuestiones quepreocupan a los involucrados en la ejecución (tanto losejecutores como los destinatarios).

Ij~s en el sentido recién apuntado que la evaluación so-cial se distingue de otro tipo de evaluaciones, por ejem-plo, de aquellas que se aplican a proyectos de construc-ción o de infraestructura; hay modelos de evaluación quehan sido traslad~ldos directamente de los proyectos de in-geniería o de obras ,1 los proyectos o programas sociales,lo cual generó muchas dificultades y resistencias por par-te de quienes los ejecutan, puesto que esos modelos, a ve-ces impuestos por algunas agencias de financia miento,son poco adaptables a los escenarios comunitarios dondelos proyectos sociales tienen lugar.

...--------------------~~---------()~g-a Nirenberg, ]osette Bmwerman, Violeta Ruiz.

La evaluación para la transformación

Si bien es cierto que cada vez más frecuentemente sehabla de evalmr los resultados de un proyecto o pro-grama, e] funcionamiento de sus actividades -los pro-cesos- y hasta el uso de sus recursos, también lo es quesigue siendo una actividad poco frecuente y en gener

()~!!,/¡ Nirmbe¡g, ]osette BrtnVer71U!l7, Violeta l?uiz,

17!I'f}{anos,materiales y financieros- requeridos para llevara cabo las acciones,

L1 idea de cambio está implícita desde el inicio de]proyecto o programa que luego será evaluado. El simplehecho de pensar en un proyecto específico est,1 ponien-do de manifiesto una necesidad de que algo cambie. Es-te proceso de transformaciÓn está asociado a la creativi-(hui, ya que ,1demás de querer modificar una realidad so-cial, institueional, personal, a partir de la generaciÓn deun programa, estamos buscando creativamente la alter-nativa de acciÓn m,ís efectiva para transformar esta rea-lidad: es decir, nos interesa el cambio y cÓmo se operaese cambio; ambas cuestiones están relacionadas con eJproceso creatlvo.

En tal sentido, un programa o proyecto social puede servisto como b puesta ,1prueba de estT:1tegias o metodolo-gías innovadoras de intervenciÓn para la tr:msformaciÓn,las que si luego de evaluadas demuestran ser efic1ces, po-drán ser replicad:1s en otros contextos, en cireunstanci,ls ocondiciones similares, o bien con las adaptaciones queconvengan. Además, en el mejor de Jos casos, la modalidadde intervenciÓn podr,í ser adoptad:1 como estrategia de laspolíticas pÚbJic!s, en el nivel local o nacional, para el cam-po soci:1lespecífico. Eso scrÍ:1un ejemplo de cambio socialrelevante y es uno de los impactos m,1S!mscH!os por losque conducen proyectos sociales, pero difícilmente a1c:m-í',ado; podemos ,11Tiesgarque par:! intluir de ese modo enlas políticas p(lblieas no sÓlo deben evaluarse las acciones,sino además deben difundirse los resultados evalu:1tivos, enuna estrategia de ac!voclhY o ¡lwr/,cting social más global. I,:sallí donde se cruzan las acciones eV:1luativascon las de con-ceptualizaciÓn, sistematií',aciÓn y diseminaciÓn.

¿Para qué la evaluacirín?

El propio proceso evaluativo implica transformación.Cuando se comienza a pensar en evaluar un programa enfuncionamiento, o incluso en evaluar la factibilidad derealizaciÓn de otro, en realidad estamos pensando que al-go cambie en la forma como se vienen haciendo las co-sas. De alguna manera esperamos que los resultados de bevaluaciÓn nos brinden elementos para operar ciertasmodificaciones en la estrateg-ia o metodolog'ía de inter-

L L

venciÓn implementada.Pero en este punto se produce el otro fenÓmeno: la

posibilidad de cambiar la forma en que se venía trabajan-do produce resistencias. Frecuentemente, el propÓsitomismo de la evaluación, "ev:1luamos para cambiar", ge-nera oposición o al menos renuencia y entonces, siempreque se puede, se aplaí',a para otro momento la actividadevaluativa.

La posibilidad de cambio evoca con frecuencia elproceso m:ís alto en cuanto a transformación se refiere,que es la revoluciÓn, proceso en que difícilmente algoquede en pie; el impulso hacia adelante que se genera estan arrollador que los viejos cimientos parecen caer de-bido al impacto. Quií',á sea esto lo que genere tanta re-sistencia, sin tener en cuenta que hay muchas posibilida-des de operar tr:l11sformaciones antes de llegar a unaruptura tot'll. De hecho, la historia nos brinda ejemplosde esto constantemente; hay infinidad de cambios adap-tativos, parciales, que van transformando lentamente lasociedad, mientras que, por otra parte, las grandestransformaciones son momentos muy especiales en eldevenir histórico.

Si esto sucede en el abarcativo plano de la historia po-lítico-soci:11, no debe extrañarnos que una evaluación

45

I________________ ----'-L

O~~i! Nirenbcrx, }oj'ctte Brawernum, Violeta Ruiz

-que bien puede terminar en recomendaciones de cortarel desarrollo de un programa o un proyecto, o de introdu-cir ajustes que no convengan o sean traumáticos para a]-gunos individuos o grupos involucrados en él- produzcaa] menos resistencias y que sus resultados sean escasamen-te utilizados (muchas veces porque no son "políticamenteviables", aunque estén técnicamente fundamentados).

Aprendiendo con la evaluación y de ella

E] impacto que produce el hacerse cargo de las cuestio-nes que deben ser transformadas suele interpretarse como"errores cometidos" y esto lJeva casi de inmediato a sentirque n,Hb de ]0 construido sirve y que es necesario empeZ,lrde nuevo. Sin emb,lrgo, la idea que hay por detLls de 1.1evaluaciÓn, en el sentido que le estamos imprimiendo, esintegrar dentro de un nuevo esquema ]0 mejor de las es-tructuras, las actividades y los recursos existentes en cl pro-grama, modificando aquello que ya no resulta Útil, correc-to o eficaz y :lprendiendo de 1.1 experiencia realiz,Hh

La afinnaciÓn anterior nos lleva a 1.1 cuestiÓn delaprcndi:r,aje, que también tiene relaciÓn con 1.1 resistenciaa la evaluaciÓn. No toda fÓrma de aprendizaje -modalidadpedagÓgica- result,l "acept,lble", y por ende eficlz, paralos que intervienen en cl proceso de enseñanza-aprendiza-je. Cll:llquiera sabe que muchas de nuestras resistenciasante ciertas disciplinas tienen m

Olga Nirenberx, ]osette BraWer71Utrl,Violeta Rui'::.

Es posible plantear algunos requisitos para que unaevaluaeión aporte elementos en el citado sentido deaprendizaje institucional:

• debe ser Útil a las personas comprometidas en el pro-ceso;

• debe ser viable, es decir, realizable en un tiempo al al-cance de ellas;

• debe re,'jJettlT-Ios vrdon:s de las jJet:l'rma,\'involucradas;• debe estar bien hecha, con procedimientos adecua-

dos, de modo de proveer información cm~flable.

La evaluación es capacitador~l e iluminadora puesbusca en la teoría, la experiencia y el conocimiento, lasargumentaciones que mejor expliquen los resultados yfacilita el crecimiento, el desarrollo y el perfecciona-miento de los que intervienen en un proyecto.

El proceso de la evaluación

Reiteradas veces se dijo que entendemos la evaluacitmcomo un proceso, como una función de LJgerencia o unconjunto de actividades, siendo, por ende, programable.Es lo mismo que afirmar que requiere para Sll desarrolloun proceso o secuencia que le es propio, el cual se esque-matiza a continuación.

ProgrtlTl1acirín de la evaluacirín:• definición del sujeto-ol:jeto de evaluación,• establecimiento de la finalidad,• identificación de las {l/uliencias,• determinación de! nivel de tlTuílixis,

4S

d,

¿ PaTa qué la evaluación?

• clasificación de las dirnensiones de análisis,• definición de las variables,• selección de los indicadores,• determinación de las técnicas e instrumentos para la re-

colección de información,• determinación de la secuencia de actividades,• identificación de re.'jJonsables y actores participantes,• establecimiento de la dumcirín, frecuencia y piTiodicidad,• estimación de los rccm:\'Os necesarios (humanos y mate-

riale.\),• presupuestacirín.

FjecllcÚJ-nde la evaluacirín• nlevrl'miento de infin77lftcÚín medi~l11te e! desarrollo de

las actividades y la aplicacitm de las técnicas e instru-nlentos,

• sistc171fttizacirín, proce.l'flmiento y aruílisis de la infin771fICÚín,• elabomcirín de infin711es (incluyendo amclusÚme,l' y nco-

m erulacione,\),• devolucirín a los a{fon's y dixeminacirín de conclusiones.

EvalUfrcirín de la evalUfrcirín (metaevalrurcirín)• análisis de la utilidad de los halla7.gos,• apreciación sobre la virtlJilidad del proceso eval uativo

y de! uso de sus resultados,• juicio acerca de la pertinencia metodológicJ y ética,• aná tisis de la conflabilidad de los procesos y hallazgos.

Si bien e! proceso evaluativo se ha presentado esque-máticamente de forma aislada y lineal, debe interpretarseque forma parte de un proceso mayor que es e! procesoadministrativo de la gerencia y que como tal retroalimen-

49

'

1

'

'"

L

OIga Nin:nbeig, ]u.I'ette BnnVer'l11ffn, Violeta Rlli::,

ta b toma de decisiones o se integra como componenteeva]uativo del diagnóstico. La secuencia presentada sóloprocura mostrar b lógica del circuito evaluativo, peroesos pasos no son secuenciales en los escenarios concre-tos sino que se producirán superposiciones y retrocesosen medio de los avances.

Nuestra concepción es que la evaluación debería serun jJ1"OCCSOcontinllo que se involucre en la gestión desde suinicio, en el pbnte,l1niento del problema a resolver o et,l-pa diagnóstica, durante los procesos de ]a acción y ,1]fi-nalizar períodos determinados, donde e] énfasis estarápuesto en los resultados o efectos.

Si bien consideramos continua b ev,lluación, de hechosuele requerir algunos cortes específicos P,lL1determina-dos aspectos, como e] estudio de cambios en conductas oactitudes, o situaciones pobbciona1cs (de nutrición, deempleo, de salud, de alL1betización, etc.) que deberánmedirse o apreciarse de forma periódic1, mediante en-cuestas, censos o estudios cuasi experimenta1cs, segÚnsean ]os C1SOS.

Asimismo, como acJaL1remos luego, a menudo oculTeque ]os evaluadores somos convoclllos p,lra IT,lli/,arnuestra t,lrea sólo en la etapa fina], o después que finali-zó el período de ejecución de los program,ls o proyectos.En esos C1SOS,]ejos de recha/,ar esas deman(hs, debemosofrecer nuestras habilidades a los decisores para que enel futuro puedan aprovechar mejor sus propi,ls experien-cias, planteando bs evaluaciones tempranamente, demodo que les sea posib1c consideLlr hs ,lltern,ltivas dis-ponib]es para tomar decisiones futuras.

CAPÍTULO 2Los tipos de evaluación

/,as ciellcias, despl":" de todo, son nuestra pnipitl crCllcilJn,illcluidos todos los sn',TOS estándares que !)({reccll i'lll}io-IlcrllOS, l'~" buello r('(ordar constantemente estc bcc!;o /. ../.;()m: Illeilil'/'ecorda/orio bay que e/ darsc (l/mta de qlle /a;'/('((ÚJII'e/l/Tc tcorías I/ue son suficiente'lllmte generalespan! proporálillar 111/11 concepcÚJndellll/l/l{!o clilllPrcbm-sh'll y ell/re las quc 110bay ClmexirJ/Ie'lllpirim, puedc lle-gar ;1scr llllil cuestilJIl dc gusto?

I'WI. K, FFYFR;\BI:¡";I) (1 iJH4)

Existen muchas formas de evaluar y esto ha dado lu-gar a una profusa y posiblemente confusa terminología,'lcuñada en la literatura sobre el tema, que remite a dis-tinciones (a veces a oposiciones) entre modos, tipos, en-Foques o perspectivas de evaluación. En su mayoría,surgen de la introducción en la práctica de lluevos focosde interés y de los diferentes énfasis que los mismosevaluadores fueron dando al uso de la evaluación. Mu-chas aparecen incJuso para superar restricciones o limi-taciones con que se enfrent;¡ron en el desarrollo de lasmodali(bdes más tradicionales. Sin embargo, como sever,), responden a diferentes necesidades y no son ex-cJuyentes.

Como producto de los intentos de sistematizar la ex-periencia en propuestas conceptuales y metodo]Ógicas,se pueden encontrar innumerables cJasificaciones. Algu-nas han tenido mucha difusión en ]a Iiteratun1 sobre eva-luación y merecen una breve descripción pues alertan

SI

()~f!;a NirclIbC/;f!;, ]oscttc 8rmvcJ7I!1!1l, Violeta Rllie:..

acerca de la mu]tipliciebd de facetas que pueden y debenconsiderarse a la hora de concebir y diseñar un procesode evaluaciÓn. En este sentido, adquieren un valor prác-..nco pues SIrven para pensar, presentar y provocar nuevas

ide,ls y técnicas y para disponer de listados de cuestionesa considerar y recordar.

Los tipos más difundidos suden diferenciarse deacuerdo con los siguientes criterios:

• según el momento en que se re,lliza la evaluaciÓn;• según quiénes realizan, son responsables o intervie-

nen en la ev,lluaciÓn;• segÚn ]os propÓsitos y la índole de las decisiones que

se espera tomar en el futuro en funciÓn de los resul-tados de ]a evaluaciÓn;

• segÚn ]os aspectos a evaluar de] programa o proyecto.

Algunos autores distinguen adem,ís entre eVaht,lCiÓn"informal" y "formal". La primera se refiere a nuestL1sconductas cotidianas que nos llevan ,1emitir juicios so-bre utilidad, convenienci,l, eficacia, compatibilidad deotras person,lS, recursos, procesos o productos sobre lab,lse de supuestos subjetivos e individuales, juicios quenos sirven para elegir diferentes cursos de acciÚn. Se bcontrapone a la evaluaciÚn "fonn,ll" o "en sentido es-tricto", en 1

()Z~'(l Nirer!IJel~~, ]o,I'ette Bmwermar!, Violeta Ruiz

La evaluación ex post es la que se realiza una vez con-cluieLJla ejecuciÓn del proyecto. Aquí también se utilizanvarios términos -aunque no con un significado unívoco-para h~lcer referencia a diferentes momentos en los quese reahza, sea apenas concluida la bse de ejecuciÓn (defin de proyecto, a posteriori, terminal), sea varios añosdespués que el proyecto o programa ha tenninado.2 Detodos modos, en general se concentra en los resultadosobtenidos para evaluar en qué medida se alcanzaron losobjetivos previstos (situaciÓn objetivo), euáles han sidolos efectos, buscados y no buscados, atribuiblcs al pro-yecto, sobre la situaciÓn inicial que se pretendía modifi-car; también procura identificar los f~lctores que contri-buyeron a producir estos resultados. Merece destac1rseque un aspecto importante -a menudo descuidado- de~sas evaluaciones es contar con una "línea de base", o in-formaciÓn diagnÚstica de la situaciÚn inicial, p;lra podercontrastarla con ]a situaciÚn final. Aunque acorde con lasmetodologías circulantes de planificaciÚn/programaciÚn~1 formu]aciÚn de un proyecto o programa del~e acompa~]:arse de un chagn{)stico, no cs frecuente que éste se rea-IIcc COI: .~a. mirada puesta en el proceso eva lua tivo, y porende chhcllmente incorpora la inf~mnaciÚn pertinentepar:~ p(~der. apreciar los cunbios producidos después desu fm;llIzaCl{m. Lo dicho mucstra que, pese al camino ya

2. I-:n ,:l,lgunos CISOS, L1evalu:lCi")}l re:1Iiz:HI:1 :llgunos :lfios después dela conclus!on dc un ¡Jrovec!o se denomin') ",1" 1'!1111'IC'('("( , ', )' 'L,' vease, por ejem-plo, Banco Inte,ramenc:lIlo de Desarrollo, sil). Sin ell1b:lrgo, cntendemosque la eV:1Iuac!on de Impacto puede realizarse también en momentos in-termedIOs SI eXIsten hip/'tesis :leeIT:l de la ocurrencia :l mediano ]lla"o delos dectos esperados en la poblaci")}l.

Los tipO,I'de evaluación

recorrido, todavía resulta difícil encontrar traducida enhechos la estrecha rehlciÚn que se requeriría entre laprogramaciÚn y la evaluación.

En las evaluaciones ex post, el foco está colocado en laeficacia, la efectividad y la eficiencia de un proyecto oprograma, conceptos que retomaremos y explicaremosen otro punto de este capítulo (véanse las págs. 69 a 71).Pero es necesario destacar que apuntan fundamenta]-mente a obtener elementos Útiles para decidir si convie-ne seguir implement;l1ldo esta línea de proyectos y, encaso afirmativo, qué ;lspectos pueden mejorarse en futu-ras formulaciones.

A partir del énE1sis en la evaluaciÓn como instrumen-to de gestiÓn estrechamente ligado a las distintas fasesde la planificaciÚn, se introdujo una nueva diferencia-ciÓn relativa a] tipo de evalllacián que se realiza durantela ejecuci{m del proyecto, denominada de muy diversasmaneras: de progre.m o jWOCCSO,de gestián, COnCll'lTente, con-c0771itrmte, intermedia, de opemci()n, etc. Su objetivo b;1sicoes evaluar en qué medida se va cumpliendo el proyectoo programa de acuerdo con la propuest;l inicial, es decir,si se orienta segÚn la direccionalidad descable. GenerainformaciÚn sobre 10s procesos, las actividades y losproductos, y los compara con las met;ls formuladas y lasque se V;l1lreformuLl1ldo a lo largo de] proceso de im-plementaciÚn. Se rClliza dc forma periÚdica de modo dedetectar oportun;lmente las debilidades y los obst;Ículosasí como las fortalezas y las oportunidades. De este mo-do proporciona elemcntos para la toma de decisionesque permiten reforzar o reorientar ;lcciones y corregiraspectos de la gestiÓn, aumentando así las posibilidadesde l1eg;lr a resultados favorables.

55

()Z~ll Nirellbe'lJ!;, ]oJette Brawerma71, Violeta Rui:::.

Aunque se lo distingue, también el seguimiento o 'f'IlO-nitO'l'eo' se refiere a la evaluación que se realiza durante laejecución de un proyecto. Tia sido definido como

[· .. 1 el examen continuo o pcri(¡dico que efectÚa la administraci(¡n,en todos sus niveles jer[¡rquicos, de la manera en que se est[¡ ejecu-tando una actividad. Con ello se busea asegurar que la entrega deinsumos, los calendarios de trahajo, los productos esperados seconl'()J']]]en a metas estahlecidas y que otras ~1Cciones quc son nece-sarias progresen de acuerdo con el plan tr'lZ'ldo (ONU, 19H4).

Es parte de la función gerencial y responsabilidad delpersonal a cargo de la ejecución, y en este sentido cons-tituye una típica actividad de evaluación interna dentrodclmarco de un programa o proyecto. En general, lasactividades de monitoreo que hemos conocido se cen-tran en la implementación de un sistema de informaciónpara verificar el logro de las metas e identificar desvíos.Este énE1sis en la recolección sistemÚtica de infonnacio-nes útiles para el funcionamiento de programas ha lleva-do erróneamente a diferenciar el monitoreo de la evalu;l-ción propiamente dicha. En efecto, la existencia de unsistema de información no implica necesari;lmente queexista evaluación y, viceversa, puede hacerse una evalu;l-ción sin la existencia previa de dicho sistema ya que pue-de recogerse información en el momento del corte eva-luativo. ¿Pero de qué sirve un sistema de información sino se lo utilií',a para juzgar la adecuación de los procesosde ejecución y proveer elementos de juicio para 1:1intTo-dncción de ajustes y correcciones oportunas? 'ElInbién

3. Los dos términos son C'luiv'llentcs, pucs "monitorco" ha sido tra-ducido literalmcntc del inglés ///OIÚtOlillg.

')6

[,0.1' tipOJ de evaluación

hemos leído o escuchado decir que el punto donde radi-I ]" . "1" " " .' "ca a ( lferenCla entre evauaClOn y m011ltoreo es que

este Último provee información para la gerencia ... ¿yaca-so la eva1uación no Jo hace? Quiere darse a entender queelmonitoreo prende luces de advertencia y/o riesgo enel gerel1ciamiento social del día tras día, para generar ac-ciones correctivas inmediatas, del mismo modo que losmonitores con el paciente internado en las terapias in-tensivas e intermedias; pero es necesario advertir que, enlos proyectos socia1es, la metáfora del paciente monito-rizado no es del todo afortunada, ya que es imposible larecolección de información de forma continua o ininte-rrumpida que permita prender luces de emergencia; só-lo es posible recoger alguna infonn,lción de modo dis-continuo, con cierta periodicidad (a lo sumo mensual,por lo general trimestral). Esa información recogida conperiodicidad frecuente suele ser del tipo cuantitativo (deejecución presupuestaria, de cobertura, de cantidad deprestaciones o servicios brindados), pero raramente in-cluye aspectos de calidad o procedimentales, ya que és-tos requieren periodicidades mayores.

Se dice también que el monitoreo adecuadamenteconceptual izado y puesto en pníctic1 es un

1 ... 1 procedimiento empleado p'lra comprobar la efectividad yefi-cienci,¡ del proceso de eiecuci(¡n de un proyecto, mediante 1.1identificaci(¡n de los aspectos lill1iL1I1tes y/o ventajosos que n¡J-mina recomendando medid:ls correctiv'ls para optimií'.~lr los re-sult'l

()~f!,{! Nirenberx, ]osette Brawel'lnan, Violeta Ruiz

Conjugando el verbo evaluar:¿nos evaluamos o nos evalúan?

En funciÓn de quién realiza la evaluaciÓn, se han di-ferenciado dos grandes categorías, la evaluaciÓn externay la evaluación interna, aunque actualmente t

OIga Nire7l/!erg, ]o,\'ette BmwerrlUm, Violetl! Rui::.

organización y es mayor garantía de objetividad. Sin em-bargo, sus debilidades estarían en las tensiones entreevaluador y evaluado, que pueden incluso generar difi-cultades en el acceso a la información, en las restriccio-nes p,lra G1ptar los factores en juego y la racionalidad in-terna del proyecto y en las probables resistencias de superson,ll a aceptar resultados que podrían cuestionar susobjetivos, metas y líneas de acción.

Por otra parte, en nuestra concepción, el evaluador oequipo de evaluadores externos contratados traen, ademásde sus propias orientaciones y preferencias ideológicas yteóriC1s, compromisos con quienes los contratan y ellopuede incidir sobre 1

Olga Nin:71belY" ]o.\'ette Brawerl1um, Violeta R'lliz.

Los múltiples propósitos de la evaluación

Una distinción ya cLlsica y muy difundida es ]a quesuele hacerse entre evalllacÚin formativa y eValllaci(in Sll-'t71tltiV{{' o de resmmn. La primera se refiere al tipo de eva-luación que se emprende con el propósito de mejoraruna intervención en un momento determinado y para ungrupo específico de personas, particularmente aquellasinvo]ucradas en su ejecución. Busca proporcionar infor-mación Útil para ayudar a] program,1 a mejorar su gestióny contribuye a la toma de decisiones acerCl de su desa-rrollo e implementación (modificación, revisión, ajustes,etc.). Brinda inf~>nnación a medÚb que avanza el progra-1na o el proyecto, y se refiere al cumplimiento de metasintermedi,ls y a los problemas de imp1cmentación. Sirvefundamentalmente a] personal del programa.

Un ejemplo de evaluación form,ltiva es la ev,lluacióncurricular en el área educativa, de donde proviene porotra parte esta noción (Scriven, 1967). Utilizando técni-cas tales como seguimiento de su aplicación mediantepruebas de aprendizaje y juicio de expertos, se obtieneinformación que permite evaluar b adecuación de loscontenidos curriculares ,1 bs condiciones de enseíianza-aprendiz,aje y así poder realizar ]os ajustes necesarios.

La evaluación "de resumen" se emprende con el pro-pósito de obtener un juicio global sobre el valor de algu-

S, ESlalraducci,'1Il lilcral ha sido acufíada dcl inglés SiI//llllflti¡'l' y nos 1"1-rccc poco '11(,rtunada, pucs cn castellano inyolucr'l la connotacitlll dc sumao aCUIIIULlCi('JI1.Parccc lIIejor la ITaduccitlll quc LNICI'J' hace dcl términocomo una cy,1Iuacitlll "dc rcsulllcn", pucs cn rcalid'ld, y t,1IC01l!Ola ust, Seri-vcn en su origcn, connot'l UI1,1recapitulacit'l1 dc los cfcct"os dc un cOl1juntode accioncs (progr,ull:l, proyccto) sobrc sus dcstil1a!;lrios (U:\I(:I',F, ] ()()O).

62

Lo," tipos de evaluaciriJl

na intervención o acción humana (proyecto, programa,política, servicio), Debe producir información acerca desu efectividad V de las condiciones en las que puede sereficaz en otras' situaciones, momentos o lugares. Se em-plea frecuentemente para decidir qué programas,~) ac-ciones merecen un,l nueva inversión o la obtenclOn defondos adicionales. Lleva por lo tanto a decisiones re]a-tivas a ]a continuación, finalización, expansión de losprogramas o proyectos y responde princip,~]men:e a l:snecesidades de quienes los formulan o los f1l1anClan. lo,nparticular, contribuye a suministrar e~emen:os de jui.c!osobre la rep]icabilidad de una detenn1l1ada 1l1tervenClOnen diferentes contextos, ampliando de este modo el aba-nico de sus potenciales usuarios. En el G1SOpresentadoanteriormente aCerGl de la aplicación del currículo ela-borado y mejorado, se emprendería una ev,~luaci(~n '>Ieresumen" con el propósito de determinar SI es efectIvopara mejorar las capacidades de los alumnos o ~)ar,a il:-troducir cambios en sus actitudes hacia el aprendIzaJe. I,Jjuicio evaluativo en este caso sirve para decidir la cO~lti-nuación del programa y la generalización de su 'lphca-ción a otros establecimientos cscolares.

Sin embargo, si se tiene en cuenta la íntima relaeiónentre los proLcesos de gestión y el impacto obtenido,puede decirsc quc muchas evaluaciones si~·~en. a aml:ospropósitos. I'~n nuestro ejemplo, la e~,~luacJon tonnatlvadel currículo llevad de hecho a deCIsIones acerca de suaplicabilidad, mientras que la de resumen puede contr~-bu ir a nuevas revisiones y ajustes para aumentar su efl-ClCJa,

Si bien en la pdctica suelen usar distintos tipos de in-formación y criterios de evaluación, en nuestra opinión,

63

~ J....• _

()~~'fl Nirefl{}("lg,]osette Brawerman, Violeta Rui::..

el valor de esta distinción reside en un lJamado de aten-ciÓn a la necesidad de realizar evaluaciones durante to-do e] ciclo vital de un proyecto. En realidad, como se haafin1l

Oiga Nirenberg, ]o.\'ette Brawermcm, Violeta Ruiz

en el qué -los contenidos- y no en el cuándo -los mo-mentos- se evalÚa,

El segundo criterio alude más bien a los componentesrelevantes de los programas. En este eje las clasificacio-nes lm15difundidas son: evaluaciones de insumos, proce-sos y productos; de estructura, procesos y resultados oefectos; de procesos y de impactos.

La cvaluación dc itl.\71'f110.1·tiene por objeto describir yanalizar los recursos humanos, materiales y financieroscon que cuenta un programa; la forma en que dichos re-cursos son procesados de acuerdo con criterios de rele-vancia, factibilidad y economía en su uso y las estrategiasde obtención de insumos destinados a implcmentar di-chas estrategias. La cvaluación dc proccsos estudia los me-dios procesales (actividades, procedimientos, prestacio-nes) que se utilizan para llevar a cabo un programa, tantoen su diseño como en el modo como éste se implcmenta.Se trata de emitir un juicio acerca de la capacidad y las es-trategias de procesamiento de insumos que tiene el siste-ma. Sirve para elegir cursos altern

Oiga Nircnberg, ]osette Brawernum, Violeta Ruiz

fo aparte, en particular las que se refieren a sus resulta-dos. "Productos", "efectos", "impactos" son términosquc pueden englobarse dentro del concepto más generalde resultados aunque no son utilizados siempre de formaequivalcnte ni unívoca. Los matices que suelen encon-trarse remiten en Última instancia a distintos tipos de re-sultados o distintos momentos del ciclo de un proyectoen que éstos pueden verificarse, así como a sus diferen-tes ámbitos o espacios de repercusión. Los objetivos delprograma o proyecto constituyen la contra cara de los re-sultados y se los suele denominar también con distintosgrados de generalidad (finalidad, propósito u objetivogeneral, objetivos específicos, objetivos intermedios,etc.). Poden10s ilustrar estos matices mediante un ejem-plo sencillo. TÓmemos un proyecto de capacitación téc-nica de jóvenes no escolarizados de bajos recursos im-plementado con el objetivo de que obtengan una rápidasalida laboral para contribuir a mejorar las condicionesde vida de sus familias. Se suele denominar "productos"a los resultados concretos de las actividades, en este ca-so, los cursos realizados y los jóvcnes capacitados. Losefectos (buscados o programados) se vinculan a los obje-tivos del proyecto, en este caso: la inserciÓn ocupacionalde los jÓvenes capacitados. 'Hllnbién pueden referirse aotros resultados, previstos o no, como el aumento de laautoestima de los jóvenes capacit,Hlos, la mayor integra-ción familiar en sus hogares, etc. El impacto se vincula alos objetivos m,1Sgenerales del proyecto y se refiere a loscambios que se persiguen (a veces no formulados explí-citamente) y que poddn verificarse en las condicionesde vida de la población; en el ejemplo podrían ser impac-tos el mejoramiento del ingreso familiar, la reducciÓn de

________ 0•••••8 J

Los tipos de evaluación

la delincuencia juvenil, entre otros. Es necesario señalarque la evaluación de ilnpacto busca identificar aquelloscambios atribuibles a la acciÓn del proyecto, despejandootros t~lCtores que podrían haber intervenido.6

Finalmente, el tercer criterio de clasificación pone elacento en ciertos atributos de los programas o de suscomponentes: la pertinencia, la idoneidad o suficiencia,la eficacia, la efectividad, el rendimiento la rentabilidad, .. ,la productividad, la eficiencia, etc.,! conceptos que nosiempre son unívocos pero que cuentan con algún con-senso, al menos en cuanto a su significado general.

La pel"tinencia se refiere a la adecuación de un progra-ma o proyecto (o de alguno de sus componentes) para sa-tisbcer necesidades y demandas o para resolver la situa-ciÓn -problema que le dio origen-o En otros términos, serefiere a la adecuación de la formulaciÓn al "estado delarte" en la respectiva rama del saber.

La idoneidad o sldiciencia se refiere a la capacidad de unprograma o proyecto (o, más espedficamente, de suscomponentes) para contribuir a los objetivos y metas pro-gramados. Así, suele hablarse de idoneidad de las activi-dades, suficiencia de los recursos, etc.

La eficacia y la 4ectividlld se refieren a la capacidad de unprograma o proyecto para alcanzar los objetivos progra-mados que, como se ha mencionado, no son sino la expre-siÓn de los resultados buscados. Si bien los dos términossuelen usarse como sinÓnimos, es muy Útil establecer una

6. Se volver,í sobre la cuestiÓn de los distintos tipos de resultados enel capítulo 5 de este libro.

7. Se pueden agregar otros atributos a est

Oiga Nirenberg, ]osette Brawernzan, Violeta Ruiz

distinción entre ambos (Pineault y Daveluy, 1987). La efi-cacia se refiere a la capacidad de un proyecto o de algunode sus componentes para alcanzar sus objetivos en condi-cioncs ideales, es decir, si se dan las condiciones prefijadasy aplicando las normas tal como se han formulado para ]aaplicación de las técnicas cspecíficas, mientras que la efec-tividad se refIere a la comparación de los resultados obte-nidos respecto de los esperados, teniendo en cuenta lascondiciones concretas de ejecución, en las circunstanciasreales del contexto de] proyecto o programa y con aplica-ciones distantes en mayor o menor medida de las normasfonl1uladas. Los autores citados hablan por un lado de efi-cacia potencial y por otro de efIcacia real (o efectividad) ysus explicaciones se refIeren a programas de atención desalud, los cuales suelen estar más nonnatizados quc la ma-yoría de los progr,lmas y proyectos del campo social.

Como puede lograrse una multiplicidad de resultados(expresados en objetivos de distinto nivel de especificidad),la evaluación de la efIcacia o la efectividad de los proyectossociales suele enEltizar sus fines Últimos en términos de lassoluciones a los problemas sociales o del mejoramiento dela situaciÚn del grupo humano al que van dirigidos. Unproyecto pucde no ser eficaz, aunque alcance sus metas entérminos de los servicios o actividades a realizar, aunquehaga un uso adecuado de los recursos, aunque tenga unaestructura que ElVorezca la realizaciÚn de las tareas progr:1-madas, si no logra producir los cambios dese,ldos en lascondiciones de vida de la pob]aciÚn a la que se dirige.

En este punto es necesario reiterar la importancia quetiene contar con buenos diagnÚsticos acerca de las caracte-rísticas, y agregamos también de la magnitud, del proble-ma específico que se pretende resolver medi,mte la inter-

Lo.\·tipos de evaluaci6n

vención social determinada; habrá que responder entoncesa las preguntas siguientes: ¿en qué consiste el problema?,¿qué consecuencias habrá si no se lo resuelve?, ¿cuántas delas personas en la población del territorio considerado pa-decen el problema a resolver? Al responderlas conocere-mos la relevancia y magnitud del problema. Y algo muy im-portante: tendremos los "denominadores" apropiados parapoder estimar luego ]a cobertura del programa o proyectoya partir de allí su dlcacia real o efectividad. Se entenderámejor con un ejemplo: se trata de un centro donde se brin-da complementaciÚn escolar para niños con bajo rendi-miento que asisten a las escuelas de un determinado barrio.Para poder establecer la eficacia de ese centro hay que co-nocer la magnitud del problema en las escuelas del barrio;desde un punto de vista restringido, puede decirse que elcentro es efIcaz pues los chicos que asistieron a él mejora-ron su rendimiento y promovieron al grado posterior, pe-ro desde un punto de vista más general, si la cantidad de ni-ños atendidos es muy baja respecto de la cantidad de niílosque padecen el problema en las escuelas del barrio, ]a in-tervenciÚn no est,l siendo del todo dicaz pues alcanza a re-solver sÚlo una pequeña parte de] problema, y por endeuna conclusiÚn es que par3 mejorar la efic3cia debería 3U-ment3rse la escala de la intervenciÚn en ese barrio.

El rendimiento, ]a rentabilid3d, la productividad y laefIciencia constituyen conceptos asociados generalmentea la evaluación económica de un proyecto. El término másgeneral y relev3nte es el de eficiencitl. f~sta se defIne comola relaciÚn entre los productos o resultados esperados deun pr~)yecto y los costos de los insumos o procesos de apo-yo o funcionamiento que implica. Esta relación puede es-t,lblecerse de di feren tes formas y utilizando diversas técni-

71

I!

I

________________ J ..J.

Oiga Nirer¡berg, ]osette Bmwernull7, Violeta Ruiz

cas procedentes del análisis económico (costo-beneficio,costo-eficacia o efectividad). Las ::tproximaciones a uncálculo de costo-beneficio en el campo de lo social sonmuy complejas por la dificultad de valorar y traducir enunidades comparables -monet::trias o no-los beneficios oresult::tdos muchas veces "intangibles" de intervencionessociales, en relación con los costos de los recursos que in-sumen las posibles alternativas de inversión (ex tl11te). Laevaluación de la eficiencia de un proyecto debe brindarelementos de juicio para identificar altern::ttivas de acciónque permit::tn obtener mejores resultados con igual canti-dad de recursos o bien los mismos resultados con unamejor combinación o utilización de los recursos existen-tes. En el campo de la salud y de la educación se han de-sarrollado instrumentos para la eva]u,lción de la eficien-cia de servicios y programas. En el campo más amplio delas intervenciones sociales destinadas a incidir en las con-diciones de vida de la población queda aÚn mucho cami-no por recorrer. Pero a] transitado, debería tenerse encuenta que lo que es necesario mejorar es la 4lciencill delo.\'pl~oyectos cjlC/las, lejos de perseguir la eficiencia comoun fin en sí mismo o como valor absoluto. Esta Última si-tuación es frecuente cuando el campo de ]a acción sociales "invadido" por criterios lneramente economicistas.

Los distintos objetos posibles de evaluación:¿tipos o niveles de análisis?

Existe una multiplicidad de unidades diferentes quehan sido y son objeto de evaluación: desde un conjuntode organiz::tciones (por ejemplo, e] sistema educativo, los

72

Los tipos de evaluación

sistemas locales de salud), una organización (escuela,hospital, organiz::tción comunitaria), una política, unprograma o un proyecto hasta productos específicos oservicios brind::tdos por una organización o por un con-junto de organizaciones. Cabe aclarar que se entiendepor programa o proyecto social una intervención socialp]anific::td::tdestinada a obtener determj¡lados resultadosen un segmento de población. A1.nbos suelen diferenciar-se entre sí por su escala y su duración. El programa alu-de más a un conjunto de actividades integradas con con-tinuidad temporal, mientras que un proyecto constituye~~na unidad menor desde el punto de vista de su comple-JIdad y ]a cantidad de componentes, y se diferencia de]programa porque tiene una duración limit::tda y atiendeuna demanda o una necesidad social puntual. En ellen-guaje de la programación tradicional, solía considerarseproyectos a los componentes de un programa.

Cada una de las unidades mencionadas tiene algun::tse~pecitI.cidades en términos de criterios de evaluación ydunenslOnes de amílisis, pero muchos aspectos en comÚn.Asimismo, pueden requerir algunas técnicas específIcas(por ejemplo, en e! caso de organizaciones se utilizarán lasque son m,ís propias de! ::tnálisisorganizacional). La expe-~-iencia acumulada en la evaluación de algunos de estos ob-Jetos ha lIev,H\o a] desarrollo de subáreas que se lnanejancon criterios y técnicas propias: por ejemplo, la evaluaciónde activid,H\es, proyectos o programas de capacitación oeducativos, o bien la evaluación de servicios de salud.

Desde e! punto de vista conceptual no constituyen depor sí tipos diferentes de evaluación: cualquiera de lasclasitlcaciones anteriormente mencionadas puede apli-carse a estos diferentes objetos de evaluación.

73

Olua Nircnbcrg Jos'etteBrawerman, Violeta Ruizó .

OIga Nirenberg, ]o.,·ette Brawernum, Violeta Ruiz

Si son pocos los programas o proyectos sociales quese evalÚan de forma integral y continua, son menos aunaquellos casos en los que se llevan a cabo procesos demetaevaluaciÓn propiamente dichos. La literatura refie-re algunas experiencias, la mayoría de ellas del campoeducativo y en los Estados Unidos.

La metaevaluaciÓn se distingue de la evaluaciÓn en ge-neral por su objeto, pero los pasos metodo]Ógicos son losmismos: requiere del diseño previo de un modelo inclusi-vo de las dimensiones y variables que se considerarán, lastécnicas elegiebs, ]os instrumentos y las pautas que uni-formen los criterios del equipo metaevaluador.

Se diferencia de esa otra acciÓn de las oficinas de eva-luaciÓn de las agencias financiadoras o de cooperaciÓn,cuando formuLlJ1 observaciones o comentarios genera-les sobre los informes y Jas metodologías de evaluaciÓnenviados por los programas o proyectos apoyados.

Conforme se anticipÓ, ]a metaevaluaciÓn constituyeun nivel de la evaluaciÓn, cuyo objeto es el propio mode-lo y proceso evaluativo. Dado que ese nivel está "por en-cima" de la evaluaciÓn propiamente dicha, hay ciertas re-comendaciones a tener en cuenta, para que los resultadosde esa actividad sean realmente aplicables y Útiles.

• En el diseilo dd modelo para la met,levaluaciÓn debedarse intervenciÓn a los miembros del equipo de eva]ua-ción (ya que será en gran parte el "objeto" a evaluar).

• Los integrantes de] equipo de la metaevaluaciÓn de-ben acreditar perfiles de mayor experiencia, idonei-dad y prestigio que los del equipo de la evaluaciÓn,dado que evaluarán e] desempeño, los informes y lasconclusiones de esos Últimos.

76

..,L

L)s tipos de evaluación

• Es conveniente que la metaevaluación acompañe lasdiferentes etapas del proceso de evaluación, para per-mitir realizar ajustes oportunos a la direccionalidaddel proceso evaluativo, tal como se aconseja para esteúltimo en cuanto a acompañar el proceso de gestiÓnde los programas o proyectos.

• Deberá ponerse especial cuidado en las formas de efec-tuar las recomendaciones y la "devolución" de los ha-llazgos, ofreciendo momentos y espacios para que losevaluadores evaluados puedan discutir e introducir mo-difIcaciones y ajustes a los informes de la metaevalua-ciÓn (tal como se aconseja para todas las evaluaciones).

Por lo demás, las metodologías coinciden con las dela evaluaciÓn en general.

La multidimensionalidad de la evaluación

Una conclusiÓn que puede extraerse de las clasificacio-nes anteriores es que ponen el acento en aspectos simila-res desde perspectivas diferentes. Así, resulta difícil dife-renciar en la práctica la evaluaciÓn ex post de la sumativa ode la de impacto, o bien la evaluaciÓn de procesos de laformativa o del monitoreo. En realidad, abarcan duniver-so de aplicaciÓn de la evaluaciÓn, organizándolo para res-ponder alternativamente a diferentes preguntas: p,lra quése evalÚa, quién evalÚa, cuándo evaluar y qué se evalúa.

Los desafíos que el desarrollo de la pdctica fue plan-teando frente a Jas limitaciones de las modalidades mástradicionales de evaluación contribuyeron a su enrique-cirniento. Ahora se presta mayor atención a las caracte-

77

OIga Nirenber:g, ]o.\'ette Brawerman, Violeta Ruiz

rísticas de los potenciales usuarios de los hallazgos eva-luativos. La incorporación de diferentes perspectivas-clientes, financiadores, la misma comunidad- ha am-pliado el horizonte de aspectos a considerar; se concibela evaluación cada vez más como un proccso continuo deautoaprendizaje, considerando tanto los procesos comolos rcsultados, y se procura involucrar de forma periódi-ca a quienes están vinculados con la ejecución.

Los ejes que dieron sentido originalmente a la con-ceptualización de los distintos tipos de evaluación se vanborrando y se tiende a cncarada como una actividad lwísintegral.

En los Últimos cien ~lños la evaluaciÓn ha evolucionado dcsde !Inenf()que unidimensionalllevado ~1 caho por un solo evaluador, quegeneralmente provenía del campo técnico que se est'lha evaluando,hasta convertirse en una actividad multidimensional concentr~]daen mÚltiples niveles de un proyecto, en la que participa una granvariedad de gener~Hlores de productos de evaluaciÓn, así comousuarios de los resultados de una evaltwciÓn. En la actualidad, enlugar de hasarse Únicamente cn los puntos de vista de un solo eva-luador en distintas et;lpas, un grupo mucho mayor de involucradosayuda a dar f()rma ~] la evaluaciÓn y ~1 interpretar sus haJlazgos 1 ... 1comien/,a a evolucion;lr de un~l actividad en su mayor p'lrte ex postpara convertirse en una herramienta utiliz~H¡a cada vez con más frc-cucncia para fines dc monitoreo. L1 meta de la evaluaciÓn ha pasa-do de la auditoría y culpahilidad ;1 la meta actual del entendimien-to y el aprendizaje en funciÓn de cxpericncias adquiridas (Bancolnteramericano de Desarrollo, sil).

El mayor desafío en la actualidad consiste entonces enadoptar abordajes mctodológicos y diseños que sean a lavez rigurosos e integrales, compatibles con los requeri-mientos derivados de la multiplicidad de perspectivasque se ponen en juego durante el proceso evaluativo.

78

CAPÍTULO 3Los abordajes metodológicos

Que "sflber" signifique algo tlltÍ.\' que "ntflr cierto", supo-

Jl(' ¡lila SiWflcirJlI CO'ltl1l1zitflrifl en que varios sujetos, o yomi.\'Jllo C11varios 1110t11entos,puedan comprobflr lo nÚ\'77lO,

EII la flctualidl1l1 im'timttÍnci/ de 77/i conciencia propia-

'lllente l){Ulfl '''':, srilo tengo ceneZ,flS, Pilra saber fllgo, nece-sito salit, de mi y cO'lnpartil~ otro punto de vi.\,tfl, El sflber

lTqlÚcre lfl CO'lHllilidfld de Ul1 sujeto con otros,LUIS VILLORO (19%)

La diversidad está a la orden del día. Así como existendiferentes tipos de evaluación segÚn cuándo, para qué,qué y quién evalÚa, ha proliferado en las Últimas décadasuna multiplicidad de prescripciones, denominadas "mo-dclos evaluativos"¡ acerca de qué es y cómo debe hacer-se la evaluación, enfatizando diferentes aspectos segÚnlas prioridades y preferencias de los autores. El origen decstos modelos, abordajes o enfoqucs (como también selos denomina) pucde rastrearse directamente a partir delas diferentes visiones de sus proponentes acerca de lanaturaleza de la evaluación. Sus orientaciones filosóficas

1. Briones (19')1) denomina "modelo de e.;valuación" a "un esquemao disCÍlo general que.; cuactcri/.a la forma de la invcstigación evaluativaque ha de rcalizarse, las técnicas o procedimientos para 1

()Z~ll Nirenberg, ]oxette Brawerman, Violeta Ruiz

e ideológicas, sus predilecciones metodológicas y suspreferencias pdcticas los llevan a proponer diseños, mé-todos de recolección y an~llisis, y técnicas interpretativasdiferentes.

Evaluación cuantitativa y cualitativa.Un debate histórico

Uno de los ejes de los abordajes metodológicos queha generado mayor discusión, como veremos no del to-do cerrada, es el quc se refiere al uso de los métodoscuantitativos o cualitativos. Merece que nos detengamosen este debate pues ha atravesado la historia de la meto-dología de la investigación en ciencias sociales e impreg-nado fuertemente la de ]a evaluación, tanto desde elpunto de vista conceptual como en ]a práctica. De he-cho, se han llegado a identificar directamente los abor-dajes con la índole de los métodos de investigación ap]i-culos denominándo]os, de modo poco afortunado ennuestra opinión, "evaluación cuantit~ltiva" y "evaluacióncua litativa".

Esquemáticamente, suele asociarse la evaluación oinvestigación cuantitativa al paradigma positivista dela ciencia y se la identifica con el enfoque hipotético-deductivo. Generalmente se centra en verificlr hipóte-sis específicas (parte de una teoría mayor) a través depruebas empíricas y privilegia la explicación de los fenó-menos desde el punto de vista de los investigadores/eva-luadores. Utiliza discfíos experimentales o cuasi expe-rimentales. Enfatiza la estandarización, Ja precisión, la

so

Lo,\'abordajes metodológicox

objetividad y la confiabilidad de la medición así comola replicabilidad y la generalización de los resultados.Predomina el uso de los métodos de análisis estadísti-co, Se preocupa no sólo por producir datos numéricossino por generar nÚmeros adecuados a pruebas esta-dísticas,

Por su parte, los enrolados en la evaluación o investi-gación cualitativa intentan recuperar el contexto y las di-mensiones humanas del fenómeno en estudio. General-mente esa evaluación se realiza en medios "naturales"(investigación naturalista) como escuelas o vecindarios;el investigador/evaluador es el principal "instrumento"de re