lir"

:1'1

111\1

i1ir

¡¡Ii

"

Ilr

l.---..-.- ...•.... " •...... -..:.... -,,,', .•..••......•.......... ~... : .. ~

CAPITULO 5El diseño de un modelo evaluativo

"¿ Qué bicimos cumulo desenwdenllrl10s ala tierm del sol?¿ Hacia dánde vamos abora? /. . .1 ¿No esNi cz¡{71'iéndoloto-do mur noche interminable?" [".1 El loco wlláy mini a suswllados oyente.l": "IJe venido antes de tiempo ", le.l· dijo,"este tremendo acontecimiento aÚn estfÍ en vías de produ-cirse ". 1... 1 Nietz;srhe mI advertía 'Iue cuando mla socie-dad pierde su centro de valores vendnin olcadas de masa-cres, aterradoras noches de barbaric /. . .1 la salida, propo-ne Nietzscbc, C.I" cncontrar un nucvo antro de valm'cj', nola vuclta al pn,vio, sino la "1'cvaloriulcÚin" o rcplantea-ntÍento de todos los I'alores "es mi ¡¡irmula para un actoescncial de autoeX//711en por pal·tc lie la bU7lJlmidad". Ésecs el modo de .wpcrm· cl penoso l!Zormnienlo y la ansiedadde no saber ifuI: w'lllino tmnm:

ROLLO MAyl

¿Por qué un modelo?

¿Será "modelo" un término feliz para nombrar lo quequeremos decir? En todo caso es un término que se usalnucho en la jerga y nuestra intención no es sugerir sureemph1zo sino contribuir a la construcción de su signi-ficado.

De las diversas acepciones que presenta el Diccionariode la Real Acade77ZÚt E\paiiola, la que más se acerca a nues-tra interpretación es:

1. May, R.: m hombre en busca de sí mismo, Buenos Aires, Fausto, 1996.(Las eitas que él haee de Nietzsehe son de Así hablri ¿anltustra.)

133

'",

¡I'11,!i

:1

I,¡

"¡I,

!

I'

:I!I'

1

,1'11'

i

Olga NiTenber:g-, ]o,\'ette BraWer'fllfm, Violeta Ruiz

Esquema teórico, generalmente en forma matemjtica, de un sis-tema o de una realidad compleja (por ejemplo, la evolución eco-nómica de un país), que se elabora para facilitar su comprensión yel estudio de su comportamiento,2

Etimológicamente la palabra "modelo" proviene de la. , "1 "1 I l " .nusma f<UZque mo( o , y t~l. parentesco a tiC e a tor-

" " """ 3 1'1 I j I 1l11a, manera, uso. ',concepto (e moue o se re a-ciona con el verbo "modelar" y con el sustantivo "mÓdu-lo", y se desconfía del parentesco con "moldear" o "mol-de", esa otra acepciÓn que nosotros también desecha-mos, de "copia" o "il11itación".

Emplearemos entonces la palabra "modelo" en el sen-tido antes dicho de una const'l'ucci{ín4 basada en bip{ítesisteáriCtls sobre el funcionamiento de una realidad comple-... ./p, para su mejor comprensu!11 y para provocar intervencio-ne.l· ~f¡({{(e.\' que produzcan tnm.~l(n771aciones deseables.Constituye una abstmccÚín, una repn:sentacÚín que seconstruye par~l comprender y explic1r una realidad com-pleja; el modelo no es la realidad, pero Elcilita su com-prensiÓn para poder operar en ella.

Nuestra interpretaciÓn de "modelo evaluativo" inclu-ye la fÓn71fl o mfmem de eva/llfll' diferentes realidades o fe-nÓmenos sociales.

2. Pero en todo easo se :lleja de otr:1S:lcepciones: "ejemplo que por superfección se debe seguir e imitar" y en particul:1r de eS:lotra que agregael atributo de "invariable".

3. Corominas, J. y P'lseu:d, J. A.: f)i(cimlflrio (dlim cti/JJolri~'i(o {¡Isld/i/-

no e h/'jJfílliw, Madrid, Credos, I ')(!I , vol. IV, p:igs. ()<) y 100.4. Cabe :lelarar que esa construcci{m no la entendemos como reali¡,a-

da de ¡()]'Ina individual, sino como un proceso abierto V colectivo, dondeparticipan de manera interactiva, segLÍn los mOJllentos, 'aetores diferentes.

1>4

El di,\'eño de un 71Zodeloevaluativo

limbién incluimos la acepción de "modular", puestoque la conformación de un modelo evaluativo, como ve-remos luego, se integra por diferentes módulos o dimensio-nes. Í~stos no necesariamente deben aplicarse a un mismotiempo o en cada "corte evaluativo", sino que a lo largodel proceso de la gestión de los programas y/o proyectos-y también previo a su inicio y posterior a su finaliza-ción- se pondrá énfasis en evaluar ciertas dimensiones oaspectos más que otros.

Los atributos deseables de un modelo evaluativo

Aun a costa de ser reiterativas, nos interesa destacarque todo modelo evaluativo que se construya debería po-seer la siguiente serie de atributos.

• Ser bolirtico: debe procurar la comprehensividad demodo de incluir la totalidad de los aspectos de la ges-tiÓn de los programas o proyectos. Es decir, no debeser concebido para ser aplicado a algún aspecto en par-ticular; por lo cual no sería del todo encasillable en al-guno de los tipos de evaluación mencionados en el ca-pítulo 2, aunque podrá tomar características de variosde ellos. Partiendo de la formulaciÓn del programa oproyecto -sea ésta explícita o no-, lo desagrega en di-ferentes componentes evaluables. Incorpora elemen-tos de estructura, de procesos y de resultados. Suponee! uso de una multiplicidad de técnicas cuantitativas ycualitativas, incluyendo aquellas que permiten incor-porar 1<1perspec6va de los distintos actores involucra-dos en los procesos de programaciÓn/evaluaciÓn.

135

Oiga Nirenberg, Josette Brawerman, Violeta Ruiz

• Ser modular: la comprehensividad no significa que sedeba evaluar todo al mismo tiempo. Como se men-cionó antes, habrá distintos focos o énfasis según losmomentos de evolución de la gestión de los progra-mas o proyectos correspondientes a cada aplicacióneva]uativa. En un primer momento, las dimensionesasociadas a los procesos de implantación serán lasprioritarias; luego lo será e] desarrollo de ]os proce-sos sustantivos y gerencia]es; en la etapa fina] o pos-terior a] fin adquirirán relevancia los resultados, efec-tos o cambios producidos por ]a gestiÓn de] progra-ma o proyecto, así como la eficacia de las estrategiasdesplegadas para lograr la sustentabiIidad social yeconómica.

• Tnvolucmr.re en el proce.m de gej,tión en todas sus etapas,contribuyendo al aprendizaje institucional y a una re-troalimentaciÓn permanente entre la evaluaciÓn y laprogramación. Debe apuntar a generar aptitudes enlos actores del programa o proyecto, para ir dejandoallí capacidades instaladas que permitan la inclusiÓnde una cllltllm organizacionrd evaluativa. Es aconseja-ble que su disefío se realice al mismo tiempo que laformulaciÓn del proyecto y que su aplicaciÓn sea pro-gralnada en diferentes momentos del desarrollo de lagestión, de modo que los resultados contribuyan a in-corporar ajustes tanto al proyecto como al mismomodelo eva]uativo. Sin embargo, sirve también paraaquellos casos en los que los evaluadores son convo-cados para evaluar al fina] de la gestiÓn, situación pordemás frecuente.

• Ser f7exible: así como no existe un modelo único quesirva para todo programa o proyecto, tampoco debe

1)6

,·· •••.r .•.•••••.•~

El disei'iode un modelo evaluativo

pensarse que un modelo disefíado al comienzo de unprograma deba permanecer idéntico e invariable a lolargo de toda la gestión; lejos de eso, debe ser lo su-ficientemente flexible como para introducir algunasmodificaciones o agregados que den cuenta de loscambios en los contextos de aplicación. Sin embar-go, habrá que cuidar que tales ajustes no perturbenla posibilidad de comparaciones entre los diferentesmomentos de aplicaciÓn evaluativa.

• lncorpomr las penpectivas de los distintos actore.I': si bienel evaluador cumple un rol fundamental en el proce-so eva]uativo, no es posible concebirlo sin la inter-vención de los principales actores desde sus primerasetapas. A partir de la toma de conocimiento de losdocumentos del programa/proyecto y del diálogocon los que lo formularon y/o ejecutan actividades,el evaluador propondrá las grandes líneas, concep-tualizará las dimensiones de la evaluación y sus prin-cipales aspectos. Pero ese rol debe ser instrumental,pues sus habilidades metodolÓgicas5 deberán estar alservicio de] conocimiento que los actores tienen dellugar y la realidad donde se desempeiian, de modotal de facilitar su intervención en las decisiones conrespecto a la selecciÓn de las dimensiones, variablese indicadores, en la definición de las técnicas y losinstrumentos de recolección a utilizar, así como enla implementaciÓn de la evaluaciÓn, en sus correc-ciones y cambios, en el análisis y seguimiento de sus

5. Ilaeemos referencia '1 esas habilidades de! evaluador cuando enotros lugares de! texto nos referimos a] "metodÓlogo".

137

:1

11

1,11

II¡!

Oiga Nirenberg, Jo"ette Bra7verman, Violeta Ruiz

resultados, en las conclusiones extraídas de ellos y enla formulación de las recomendaciones,

Las partes que integran un modelo evaluativo

Podemos adelantar un esquema sintetizador de laspartes de un modelo eva]uativo.

L Precisiones conceptuales.1, Marco teÓrico general.2. Las dimensiones y variables: definiciones concep-

tuales y operativas.11. Aspectos metodolÓgicos.

1. Abordaje metodolÓgico general.2. Técnicas sugeridas /Instrumentos,3. Fuentes.4. Actores participantes.5, Cronograma de aplicaciÓn y focos.

TIT. Matriz síntesis del modelo eva]uativo.IV. Instrumento valorativo.

En lo que sigue se profundizad sobre ]os ítem reciénseñalados, aunque no necesariamente en ese orden, aefectos de una mejor comprensión.

Parte por parte

Un modelo evaluativo contiene, en primer lugar, la"teoría" que existe por detds del programa o proyectoque constituye el objeto de la evaluaciÓn. Por lo tanto,

I)S

El diseño de un tllodelo evaluativo

el modelo debe reHejar la concepción del cambio quesustenta la intervención social; se supone que si se llevanadelante ciertas acciones en determinadas circunstan-cias, se obtendrán los resultados esperados, en términosde superar, contribuir a solucionar o evitar que empeo-ren determinadas situaciones sociales. Lo que el mode-lo debe poner en evidencia son justamente tales cuestio-nes: ]os supuestos, los requerimientos contextuales, lasestructuras necesarias y los procesos o líneas de acción adesarrollar para obtener los resultados esperados.

Esas cuestiones constituyen los aspectos conceptualesde] modelo, los cuales tienen mucho que ver con las ca-racterísticas del objeto de la evaluación, o sea que diferi-dn si se trata de un programa educativo, de salud, de de-sarrollo integral, de adolescentes, etc.

De acuerdo con ]0 anterior, se infiere que un mode-lo evaluativo, entonces, pondrá en evidencia e] "estadode] arte" en e] campo de conocimiento respectivo. Porejemplo: se trata de construir un lnodelo evaluativo pa-ra un proyecto que realiza actividades de educacÚín inicialpara los niños de 2 ,] 5 años de familias pobres, en pro-cura de prevenir riesgo,,' posto'iores de 'fnal rendirniento, de'l"Cpitencia o de de,l'ercilÍn escolar de esos niños en el nivelprimario. Primero habrá que conocer en profundidad yexp]icitar el estado de avance del conocimiento en elcampo de la psicopedagogía, acerca de las formas máseficaces (y eficientes) de brindar educación inicial paraun mejor desarrollo posterior del niño en su etapa esco-lar. Y sabemos que las concepciones en diversos mo-mentos de ]a historia del conocimiento son diferentes,habiendo campos donde los cambios son más aceleradosque en otros (Khun, }(70),

139

¡11I1

OZgaNirenberg, Josette Brawernzan, Violeta Ruiz

Un problema frecuente en las disciplinas sociales, co-mo vimos en e] capítulo 3, es que no existe un solo para-digma sino varias teorías, muchas veces contrapuestasentre sí, a veces superpuestas, y sin demasiadas eviden-cias de su "validez" o demostraciones fidedignas acercade sus grados de eficacia. (,

Esos aspectos deben ser eXp]icitados en el capítuloconceptual de un mode]o evaluativo: debe aclararse encuál teoría o escuela se inscribe el programa o proyectoen el particular campo de conocimiento que aborda; ade-más corresponde anticipar qué contribuciones se esperande la aplicación evaluativa para incrementar la validaciónde esa teoría. En el ejemplo que dimos debe aclararsecuál es ]a teoría pedagógica (del aprendizaje, y/o de! de-sarrollo infantil) en que se basa e! programa o proyecto(y, por ende, el modelo evaluativo) y qué aportes realiza-rá la evaluación para su confirmación o no y para fonnu-lar propuestas de ajustes.

Es en ese sentido que Briones dice:

[oo.] la ~valuaci(¡n ~s inv~stig;lcj(¡n int~rdisciplinaria qu~ sc apo-ya, scgÚn el caso, ~n la psicologLI, la ;mtropología, la sociología,la ~conomía, la ~stadística, pcro cn sí misma no cs una cicnciadistintiva con su propio objcto tc(¡rico dc cstudio (Brioncs,1991: 15).

6. Vimos cn el capítulo 2 que cntcnd~mos por dic<lcia dc una intcr-vención SOCi'llla mcdida cn quc ésta logra los objetivos quc sc proponc;en nucstro ~j~ll1plo, la modalidad d~ cducación inicial que pcrmitc unmejor r~ndimicnto y cvit'l la dcs~rción o rcpit~ncia dc los niilos en susetapas ~scolar~s.

140

El dÚeño de un nzodelo evaluativo

Raramente es tan sencillo como en nuestro ejemplodelimitar el marco conceptual del modelo evaluativo, yeso se debe a que en general los programas o proyectossuelen ser más complejos y abordar más de un campodisciplinario, lo que equivale a decir, en nuestra jerga,que son "multidimensionales". Por ejemplo, suponga-mos que ese mismo proyecto de educación inicial se lle-ve a cabo a través de una modalidad de trabajo con mu-jeres de ]a propia comunidad, las "madres cuidadoras",las que se desempeñan en "centros de desarrollo/cuidadoinfantil"; las madres, a su vez, requieren ser capacitadasen técnicas de estimulación y en aspectos de desarrolloinfantil, así como en temas de liderazgo, de administra-ción y de gerencia de dichos centros. Entonces, no sólodebemos estar al tanto de los avances del conocimientoen materia de métodos eficaces para el desarrollo infan-ti] sino que además debemos conocer los métodos cfica-ccs para ]a educación de adultos, para el fortalecimien-to del liderazgo en proyectos o grupos comunitarios,sobre todo en grupos de mujeres, y para la gerencia y laadministración de proyectos sociales o instituciones sinfines de lucro. A eso aludimos cuando atribuimos a losprogLll1 LIS y proyectos sociales el carácter dc multidi-mensiona les.

Para complejizar aÚn más ]0 que venimos dicicndo,hay casos en los que pucde no existir avance relevante deconocimiento específico y el desafío entonces es cons-truirlo a partir de diferentes campos disciplinarios. To-mando un ejemplo distinto: si el propósito global de unprograma o proyecto es desarrollar la ciudadanía juvenil,construiremos nuestro marco conceptual a partir de losavances existentes en la ciencia política actual acerca del

141

Oiga Nirenberg, ]o5'ette Brawert71an, Violeta Ruiz

concepto de ciudadanía y los que existan en la ciencia so-cial en materia de desarrollo juveniF. En res~l1nen, el marco conceptual a que estamos ha-

cIendo referencia deberá incluir primeramente la teoría oconcepción 810bal del carnbio xobl'e la que .1'1' baxa la propuextageneral de intervencÚfn.

Asimismo, se darán las definicione.\· o precisione.l· concep-tualex par¡¡ cada una de las dirnenxione.,'.Y variablex que se in-cluy~.n en el modelo evaluativo, teniendo en euenta, eomose dIJo, ql~e :ada una podrá referirse a diferentes camposdel conOClm1ento, con distintos grados de avance.

De tal forma, cada una de las dimensiones que se inclu-yan en clmodelo evaluativo constituirá en sí una "teoría",desde clmomento en que plantea que dadas ciertas circuns-tancias, contando con determinadas estructuras de recursosy desarrollando ciertas actividades o procesos, se obtendránciertos resultados deseados (y también otros no esperados).Por ende, habrá de explicitarse, no sÓlo en general sinot,~~nbién para ~ada di~nensiÓn, cuál es la particular concep-clon del camIno que nnplicl -la "teoría" que la sustenta-o

'Eunhién es necesario incluir las dejiniciones oper¡¡cirma-les de Cful~l variable, lo que significa que deberán e.'jJecifi-carxe en jZl11cirfnde 10.1' indicadol"Cx -o variables ohservabl~s-con los cuales las mediremos o apreciaremos.

~a ~letenninaciÓn de las dimensiones, LIs variables ylos 1l1tbcadores ~lellJlodelo evaluativo es de tal enverga-dura que le deebcaremos un apartado específico a conti-nuación de éste.

7. No deseonocemos que existen apreciables avances te(¡ricos 'lCercade la emdadanía juvenil; de ll1odo que éste constituye en verdad un e'e111-plo "simulado". J

742

El diseiio de un modelo evaluativo

Reiteramos que el marco conceptual de la evaluaciónserá a la vez una retroalimentación del encuadre teóricodel propio programa o proyecto. En realidad, si el pro-ceso de planificación y programación hubiera sido com-prehensivo y adecuado, y su formulaciÓn en el documen-to respectivo fuera completa y clara, su encuadre teóricoresultaría prácticamente coincidente con el de la evalua-ción (véase el capítulo 1 acerca de la evaluación comoimagen en un espejo, es decir inversa, del proceso de pla-nifi caci Ón/programa ción).

Pero lo cierto es que rara vez el documento del pro-grama o proyecto es tan completo, por lo que antes dediseñar un modelo evaluativo se requicre una intensa in-teracciÓn entre los evaluadores y los quc programaron yconducen la ejecuciÓn, de modo de poder dar rcspucstaa Jas siguientes preguntas básicas e iniciales:

• ¿Cuáles son los objetivos del programa o proyecto?• ¿Qué resultados esperan obtener?• ¿Qué pasos seguirán o han seguido para llevar adelan-

te el programa o proyecto (cuál es la estrategia o se-cucncia lÓgica de la acción)?

• ¿CÓmo se rclacionan esos pasos, las actividades y losproductos, con los objetivos y las mctas propuestos?

El modelo también debe contener las especificacionesacerca de las extrategiax que se van a adoptar para cono-cer e interpretar la realidad.~

Debe incluirse adcrnás una lista de las técnicax que sesugiere utilizar, así como cspecificaciones acerca de sus

H. A ello nos hemos referido en el capítulo .).

743

II!

Oiga Nirenberg, Jo.rette Brawerman, Violeta Ruiz

formas de aplicación y aclaraciones acerca de los instru-mentos requeridos en cada caso; los instrumentos, consus respectivos instructivos, se anexarán al documentoconceptual y metodológico.

También hay que precisar las fuente!J de donde se con-seguirá la información (secundaria o primaria): docu-mentos, estadísticas, registros del propio programa, ac-tores, personas o grupos clave, etc.

Y aunque se sabe que en la práctica sufrirá modifica-ciones, conviene anticipar un cronograma de las aplica-ciones evaluativas a lo largo del período de gestión delprograma o proyecto, especificando los momentos eva-luativos y los respectivos énfasis: qué dimensiones y/oqué variables se resaltarán, con qué técnicas de releva-miento se obtendrá la información y qué actores inter-vendrán en cada uno de esos momentos evaluativos.

Las dimensiones del modelo evaluativo

La determinación de las dimensiones de la evaluaciónes quizá su paso conceptual más definitorio. f~sa es una ta-rea que no podrá ser realizada de forma autónoma por elequipo evaluador, sino en acuerdos conceptuales y opera-cionales con los responsables de la formulación y opera-ción del programa o proyecto. Ellos son quienes saben loque la acción se propone, aunque a veces puedan no tenertan claro cómo lograrlo (a lo cual, reiteramos, podrá con-tribuir el proceso evaluativo, formulando las preguntasapropiadas y respondiéndolas con fundamentos sólidos).

Para determinar acertadamente las dimensiones delmodelo deben utilizarse criterios clasificatorios apropia-

144

El diseño de un modelo evaluativo

dos lo cual es una virtud no muy común en los evalua-, ,dores o en los cientistas sociales. Este es un arte que de-pende no sólo de haber estudiado las disciplinas metodo-lógicas sino además de la experiencia acumulada a lo lar-go de las trayectorias profesionales, y por qué no, tam-bién de ciertos rasgos de la personalidad de quienes tie-nen responsabilidades en el diseño. Por lo tanto, no cree-mos que con las precisiones que daremos a continuación,sea posible transferir la habilidad para elegir acertada-mente las dimensiones, pero sin duda es necesario cono-cedas. Un reaseguro, como se dijo, es que otros actoresy diversos metodólogos intervengan en ese proceso deselección.

Las dimensiones que toma la evaluación se corres-ponden, en general, con las principales líneas de acción ycon las estrategias que plantea el respectivo programa oproyecto.

Hay ciertas dimensiones que constituyen el meollodel modelo evaluativo, que denominamos aquí !Justanti-vas porque hacen referencia a los propósitos medularesde los programas o proyectos; sus nombres serán pare-cidos a los de las principales líneas de acción del res-pectivo programa o proyecto, hayan sido éstas explici-tadas o no.

Existen otras dimensiones que no tienen que ver deforma directa sino mediata con los contenidos sustanti-vos del particular programa o proyecto; son las que sevinculan a líneas de acción n1<1Sinstrumentales, queconstituyen medios para el desarrollo de las otras líneassustantivas, corno las relativas al gerenciamiento (porejemplo: la conformación y coordinación de los equiposde trabajo, la capacitación y/o el adiestramiento de los

145

OIga Nirenberg, ]o)'ette BnzweJ77Wn, Violeta Ruiz El dÚÓzode un modelo evaluativo

9. Suelen denolllin'lrse "esITategils" '1 esos atributos de la gestiÓn .

recursos humanos, la administración, el modo de finan-ciamiento del programa o proyecto).

Por otra parte, existe apreciable desarrollo teóricoacerca de la acción social, en el sentido de que debe adop-tar modalidades promocionales, integrales, sinérgicas,participativas, asociativas, multiactorales, multidisciplina-res, yesos atributos de la gestión de los programas o pro-yectos'! implicarán la inclusión de dimensiones específicas.Las !lanudas dimensiones imtrwnentales o gerenciale.1" yaquellas relacionadas con las modalidades deseables de lagestión social o estrrltégiCtls deberían incluirse en todo mo-delo evaluativo, m,ís alLí del problema sustantivo que elcorrespondiente programa o proyecto intente solucionar.

Podemos sintetizar lo que venimos diciendo en el si-gmente esquema:

TIPO DE DIMENSIONES

Sustantivas

Gerenci'lles o instrumenta!cs

Estratégic;]s o de atributos

EJEMPLOS

Control del niño sano; desa-rrollo integral del nifío; comple-ment,JciÓn escolar; cap,lcitaciÓnlaboral de 'Hlo!cscentes; alra be-ti"aciÓn de adultos; desarrollode ciudad'l1lía; compkmenta-ci{m alimentaria.

Cap'Jcit'JciÓn de recursos hu-IJ1,Jnos; cOlllunicaciÓn soci,d;tT'lbajo en equipo; administra-ciÓn; fin'l1lci'Ulliento; ,l{lquisi-ciÓn de equipos e insumos;construcciones.

J ntegralitbd; sinergismo; asocia-tividad; p'JrticipaciÓn; 11lultidisci-pli narietbd; Jllultiact()r;Jlidad.

Lo que antecede es una clasificación muy general ylos ejemplos en cada caso no buscan exhaus,ti:ridad..N.odesconocemos que hay proyectos cuyo proposlto pnnCI-pal, sustantivo, puede aludir a cuestiones e~t~até~i/cas ogerenciales, por ejemplo, promover la partI:IpaclOn deactores en determinado contexto o escenano, en cuyocaso tal dimensión pasará de ser estratégica a ser sustan-tiva. Tunbién algunas dimensiones clasificadas como ge-renciales pueden pasar a ser sustantivas, dependiendo d.ela índole del proyecto o programa; caso típico: la capaCI-tación de recursos humanos en grandcs instituciones.Reiteramos entonces que el esquema anterior, lejos deser taxativo y de casilleros estancos, sólo procura recor-dar que, cualesquiera que sean los propósitos sustantivosclel programa o proyecto, tendrán qu~ tenerse en ~u~lltaademás esas otras dimensiones gerencJales y estrategJcas.

Por otra parte, las dimensiones sustantivas mencionadasen el esquema pueden constituir los Únicos propósitos me-dulares y dar el nombre al respectivo proyecto: caso de l~sproyectos de capacitación laboral, de alfabetización, de mI-croemprendimientos productivos, entre otros; pero tam-bién pueden ser líneas de acciÓn de proyectos más compre-hensivos, que incluyen esas y otras líneas de acción.

Siguiendo con un ejemplo anterior: si el propósitog-Iobal es de.\"Ilrrollm" la ciudadrmía juvenil, y para ello eli)f(>yecto pLmteÓ como líneas de acciÓn CtljJa~itm; de.\"{lrr~-llar capacidade.,· de liderazgo, generar e.\¡){lelOSfZSZCD.'· y .mnho-licos de jJarticipacirfn o !rrotagoniwno juvenil, de)'rlTrollar orga-nizacirmes juveniles, entre otras, se podrían elegir comodimensjoJ~es sustantivas de la evaluaciÓn: CfljJacidrule.\·de li-derazgo, participacirfn y protagoni.wno juvenil, de'~'arroll~~for-talecimiento de las orp;rmiz.acionesjuvertile.1'. Las dUl1ensJones

i;

1

II1

1

I

I

"I

146147

_._ .m_' •••••••••• _

. 1

liII

I!!lii

O~ga Nirenberg, ]osette Brawerman, Violeta Ruiz

gerencia les o instrumental es serían: capacitación de recur-j'os humano.r, infraestructura físiut y equipamientos para lasactividades juveniles, comunicación y difilsión, administracióny gestión financiera, sU.\'tentabilidad social y económica. Lasdimensiones estratégicas podrán ser: modalidad asociativade la gestión, participación o inclusión de actores, integralidadde la acción.

Abriendo el abanico de las dimensiones

Como fue anticipado, las dimensiones deberán espe-cificarse en otras variables de menor complejidad, que asu vez requerirán de un proceso de operacionalizaciÓnmediante ]a selección de los indicadores apropiados.

La determinación de las variables correspondientes auna dimensión se realiza teniendo en cuenta cuáles as-pectos estructurales y procesales son necesarios para al-car1Zar el resultado específico que plantea la dimensión(recuérdese que este Último será coincidente con el obje-tivo de la respectiva línea de acciÓn). Por ello, el evalua-dor debed preguntarse constantemente (a sí mismo y alos que tienen la responsabilidad de programar y ejecu-tar) ¿de qué depende el logro de tal objetivo?, preguntacuya respuesta no es otra que e] detalle de las actividadesque se programaron (o debieron programarse) para lo-grado. Y ]a evaluaciÓn procurad, por un lado, detenni-nar si aquéllas estuvieron bien planteadas, y por otro, siestán siendo correctamente ejecutadas -grado de cmn-plimiento de la direccionalidad deseab]e- pues se orien-tan al logro de su objetivo o lo concretan. Asimismo, ]aevaluación buscará conocer cuáles fueron los obstáculos

148

El diseño de un modelo evaluativo

o las causas de fracasos para ver cómo superados en el fu-turo o en otros contextos.

Un enfoque parcial de nuestro anterior ejemplo: la lí-nea de acción "desarrollar capacidades de liderazgo en losjóvenes" formulada como dimensión es "capacidades deliderazgo juvenil". Para abrida en las respectivas varia-bles, debemos formular la pregunta: ¿de qué depende eldesarrollo o fortalecimiento de las capacidades de lideraz-go de los jóvenes? En primer lugar, dependerá del gradoen que los miembros del equipo del proyecto compartanel significado de] concepto de liderazgo, de modo que es-tén de acuerdo en cuáles cualidades deben promover.También dependerá de que logren identificar a aquellosjóvenes con esas cualidades potenciales, manifiestas o no,para asumir roles de liderazgo;IO luego dependerá de queformulen y realicen capacitaciones adecuadas para aque-]]os líderes potenciales o reales que identificaron. Poste-riormente dependerá de que esos líderes capacitados seanincorporados a los procesos de gestión y que en e] desem-peño posterior tengan acompañamientos y asistenciastécnicas que les permitan apropiarse de sus roles y funcio-nes. Luego de cumplido ese proceso podrá verificarse,con alta probabilidad, que ]os jóvenes líderes identifIca-dos, capacitados e incorporados cobren protagonismo enlos procesos de la gestiÓn de] proyecto, es decir, en ]a pro-vocaciÓn de los cambios deseables. Sintéticamente, las va-riab]es que pueden especificar la dimensiÓn de nuestroejemplo serían entonces:

10. Para ese proceso de idcntificaciÚn de lídercs es prcciso haber ase-gurado lo previo: que los que identifIcan compartan el significado delconcepto de liderazgo.

149

OIga Nirenbe1X, }o.\'ette Brawe17mm, Violeta Ruiz

• consenso acerca del concepto de liderazgo entre losactores clave del proyecto;

• detección de los jóvenes líderes existentes (reales opotenciales) en el marco del proyecto;

• capacitación adecuada de los jóvenes líderes detecta-dos;

• incorporación de los jóvenes líderes capacitados a losprocesos de la gestión;

• apoyo/acompaí1amiento a los jóvenes líderes en susdesempeíl0s;

• protagonismo de los jóvenes líderes en los procesosde cambio.

Se hace notar que la Últilna de las variables es de re-sultados: el fortalecimiento de los líderes se evidenciaráen su protagonismo para el cambio.

Reiteramos que para identificar esas variables fue ne-cesario acceder al conocimiento actualmente circulantesobre el desarrollo de las capacidades de liderazgo (Blej-mar y otros, 199H).

Mencionamos con anterioridad que la determinaciónde las variables requiere trabajo conjunto entre los que eva-lÚan y los que programan y ejecutan, puesto que no siem-pre las actividades para conseguir un objetivo est,ln exhaus-tiva o correctamente plantea(bs en el pJan o prognll1la talcomo se lo formuló en su origen. En ese trabajo conjunto,el ev.aluador tiene un rol de bcilitador externo, aquel queme(!Jante las preguntas adecu,ldas ayuda a desentrañar quées lo que la acción se propone y el modo en que se preten-de realizarla; se obtiene así un subproducto relevante quees la reprogramación o mejoramiento de la formulación deactividades (tal como se aclaró en el capítulo 1).

f)()

El diseiio de un 'l1lOdeloevaluativo

Hay casos en los que las variables incluidas en algunadimensión conservan un alto nivel de abstracción, por locual resulta difícil su operacionalización; pueden enton-ces incluirse subdimem'iones. Un ejemplo surge de la pági-na anterior: la capacitación adecuada de losjóvenes Hden.\' de-tectados tiene como variable una formulación "alta", quees posible "bajar" mediante la reiteración de la pregunta"¿de qué depende la adecuada Glpacitación de los jóve-nes?", que puede responderse con la siguiente aperturaen variables de menor nivel de abstracción, es decir,"operacionalizablcs" .

• contenidos curriculares;• metodologías pedagógicas o didácticas;• perfiles de los docentes o capacitadores;• materiales didkticos utilizados;• evaluaciones efectuadas sobre habiJidades, capacida-

des y destrezas adquiridas.

De modo que la capacitacián se identificará como unasubdimem'irín de la dimensián "wpacidades de lidel~{Jzg() ju-venil".

Las variables se operacionalizarán mediante el indi-cador o los indicadores que se definan como apropiadosen cada caso, para poder apreciar o medir la variable res-pectiva.

Ya se han hecho alusiones sobre Ja existencia de distin-tos tipos de variables e indicadores: de estructuras (de in-sumos, de recursos), de procesos (de actividades, de tareas)y de resultados (de productos, de efectos, de impactos).

A continuación, volcamos algunos ejemplos de lo di-cho en forma esquem,hica:

151

I

I

'[

OZgaNirenberg, Joxette Brawerman, Violeta Ruiz El diseño de un modelo evaluativo

TIPOS DE VARIABLESY/O INDICADORES

1. De estructuras

2. De procesos

3. De resultados

a) de productos

b) de efectos

c) dc impactos

EJEMPLOS

Plantas físicas; equipamientos; he-rramientas; materiales; p]antel de re-cursos humanos; perfiles requeridos,misiones y funciones; reglamenta-ciones y normas; sistema de infor-mación y protocolos de registros,etc.

Actividades de capacitaciÓn, de co-municación social, de asistencia téc-nica, de encuentros entre actores, deentrega de bienes o servicios; tallereso cursos ]]evados a cabo; campañasrealizadas; registro de actividades,etc.

Materia]es didácticos producidos'documentos elaborados; respondel~~tes a convocatorias; audiencias; per-sonas capacitadas; cobertura o alcan-ce ]ogrado con ]as actividades.

Cambios observables en ]os destina-tarios a raíz de las ,lctividades realiza-das. Cambios observables en las es-tructuras y dinámicas de las organiza-ciones participantes del programa oproyecto.

Otros cambios observables en la pro-pia población bajo programa en mo-mentos posteriores, en poblacionesmás amplias, en otros contextos, enmaneras de trabajar de otras organi-zaciones no intervinientes de formadirecta, en las políticas públicas, enlas concepciones colectivas, etc.

152

Del esquema previo se desprende que consideramostres tipos diferentes de resultados: productos, efectos eimpactos; a su vez, cada uno implica diferentes formas derelevamiento. En el caso de los productos, se podrán eva-luar a partir de registros y evidencias propios del progra-ma o proyecto (listas de asistentes, documentos produci-dos, estimaciones de oyentes, etc.). En el caso de losefectos, también se podrán apreciar o medir sobre la ba-se del propio programa y por medio de los propios par-ticipantes de] programa, no necesariamente mediante al-guien especializado y/o externo. En el caso de los impac-tos, suelen realizarse relevamientos más allá del propioprograma o proyecto, ya que se incluyen otros contextoso bien momentos posteriores a la gestión, y para ello se

. ]. 11contratan especIa Istas externos.En otras palabras: las variables y los indicadores en-

cuadrados en 1, 2 Y 3tl forman parte de las evaluacionescontinuas, concurrentes o monitoreo; en el caso de 3b, setrata de recolecciones específicas que se realizan en ge-neral en momentos intermedios o más avanzados de laejecución, de modo de permitir ver ciertos cambios queindicarán si el programa o proyecto está orientándosehacia ]a dirección deseada, si los efectos que se van obte-niendo son acordes con lo esperado, o si vale la pena in-troducir ajustes en la manera de hacer las cosas. En e] ca-

11. Cabe aebrar que otros 'lutores diferencian las variables de resul-tados segÚn los pbzos temporales a que hacen referencia: de corto, me-diano o largo pLu.o; en el Último caso, de los impactos o resultados de lar-go plazo, se requieren diseños evaluativos sumamente sofisticados, de se-guimiento de poblaciones a través de períodos prolongados, euyo costo yesfuerzo raramente puedeu afrontarse, de modo que aquí no haremos alu-siÓn a esos casos.

153

••• iiiiiI Ilii·iII!¡,;.;;IIii-·~IIii· __ •• '.·"illillill ••·.·WIII-III·'·lIII·_ ••-••- ••••• ••-_"'"' •••••• w•• "·I$ •••r.. •

______________________ .··IIii··· •••••••••••• " •••.•••..••••, _····_,"""<WI~, •••••••~_-IiIi •••- ••••• ,•••••••••• _

0Zf!;{l Nircnberg, ]o,l'ette BraWel7JZan, Violeta Ruiz

so de 3c, suele recogerse l:J información al finalizar o des-pués de un tiempo de terminado el programa o proyec-to, Lo dicho no es taxativo, puesto que ciertos impactospueden producirse -y, por ende, evaluarse- cuando aúnno finalizó el período de ejecución,

En cuanto a los indicadores, éstos son una medida oapreciación, directa o indirecta, de un evento, una con-dición, una situación o un concepto, Son a su vez varia-bles, aunque de menor nivel de abstracción, observableso medibles, que permiten inferir conclusiones apreciati-vas acerca de las variables correspondientes; por eso sedice que e.lpecifiwn la." varÚ,ble.\' a las que hacen referencia.Pero ]os indicadores merecen un ítem aparte.

Seleccionando y definiendo indicadores

Los indicadores merecen un ítem propio porque mu-chos profesionales de las ciencias sociales consideran queevaluar es posible con sólo elegir los indicadores adeClta-dos y explicitar con qué medios se recoged la informaciÚnrespectiva. Ciertos instrumentos de planitlcaciÚn o pro-gramaciÚn adoptados por las agencias de financiamientoasí lo sugieren y estimulan.l! ConlO se desprende de ]0 ex-plicado hasta aquí, los indicadores son un paso muy impor-tante en c1proceso de diseI10 de un modelo evaluativo, pe-ro no c1 único ni c1 m,1Src1evante; los pasos previos y losque le siguen son de tanta o mayor relevancia y tan o másdefinitorios que aquél.

12, Nos referimos aeí al conocido Marco LÓgico, que procur,] sinte-tizar en dos columnas -indicHlores V medios de veritlcacic'm- la evalua-cic'm de programas complejos ..

1')4

El disei70 de un ¡nodelo evaluativo

Puestos en su lugar, diremos que los indicadores per-miten organizar la recolección de ]a información, me-diante h1 confección de instrumentos o protocolos quefacilitan la estandarización requerida, tanto para compa-raciones en diferentes momentos de] tiempo como paralos casos en que existen diversas ]ocalizaciones donde serealiza el registro o recolección.

Tbmemos, para ejemplificar, una de las variables delejemplo anterior: Incm1Joracirfn de lo.\'líderes capacitados a losproceso.l' de la gestión.

Para construir los indicadores de esa variable pode-mos seleccionar tres procesos que se consideren clave enel respectivo programa o proyecto:

proceso a: construcción de h1sagendas de las reunionesde programación de los grupos juveniles;proce,m /1: contactos con actores institucionales y polí-ticos locales;jWOCCSO c: elaboraciÚn de los mensajes comunicaciona-]es para difundir por los medios masivos locales.

Luego puede diseila rse una tahh1 como b siguiente:

Procesos elave Cantidad de líderes capacitadose incorpor;Hlos

Ninguno 1 02 3 o mas

Proceso a

Proceso b

Proceso c

TOTAL

155

Oiga Nirenberg, .losette Brawerman, Violeta Ruiz

¿Cómo expresar en palabras ese indicador complejo?De la lectura del cuadro surge el nombre: "Cantidad delíderes capacitados e incorporados en los procesos a, byc". ¿Cuál es el valor deseable -el estándar- para ese in-dicador? Para responder a esa pregunta conviene anali-zar los casilleros de la línea del total. Desde ya, no es"ninguno"; pero ¿cómo saber si ]a respuesta más acepta-b]e es "1 o 2" o "3 o más"? Eso dependerá de la canti-dad total de líderes que hayan sido capacitados. Si se ca-pacitaron 8 o 10 líderes, e] haber incorporado a 1 o 2 pa-rece bastante aceptable, mientras que si se capacitaron15 líderes, parece mcís aceptable 3 o lncís. Por otra par-te, concluimos que ]a decisión acerca de las categorías aabrir para nuestro indicador (cuáles y cuántas) depende-rán de ]a magnitud del universo respectivo; si los líderescapacitados hubieran sido 30, las categorías elegidas noserían las correctas sino que hubiera convenido abrir es-tas otras: ninguno, 1 a 7, 8 a 15 y 16 o más. La cantidadde categorías dependerá también del grado de detallecon que queramos realizar e] análisis (aparte de ]0 ya di-cho acerca de] tamafío del universo).

Una alternativa, tal vez mcíssencilla, para plantear es-te indicador es lel que sigue:

Procesos clave Cantidad de líderes '){) de líderescapacitad()s capacitados que se

Incorp()raron

Proceso a

Proceso b

Proceso c

TOTAL

] 56

El disáío de un modelo evalzultivo

Esta forma, que puede nombrarse como "Porcentajede líderes capacitados que se incorporaron a los procesosa, b y c", parece más aconsejable, dado que los porcenta-jes independizan relativamente el análisis del número ab-soluto de capacitados. Sin embargo, la cifra total-el uni-verso- debe ser de cierta magnitud para poder trabajarcon porcentajes. Acá también es necesario explicitar elrango dentro del cual los porcentajes adoptan valores"deseab]es" (¿25 %?, ¿50 %?), para poder emitir enton-ces un juicio apreciativo a partir del indicador.

Aunque resulte ocioso resa]tarlo, diremos que la se-lección de los procesos a, by c es lo que da el verdaderosignificado de este indicador; si ésos no fueran procesosclave el indicador carecería de relevancia.,

Hay otros casos en los que los indicadores tendrán es-tándares prefijados para establecer la comparación, comocuando se evalÚa rendimiento escolar: existen pruebas denivel que estandarizan los grados de rendimiento desea-dos () esperados contra los que se compararán los real-mente obtenidos por los alumnos.

Los dos ejemplos de indicadores que dimos para la va-riable incorporación de 10,1' líderes capacitados a los procesos de lagestión, son cuantiflcab]es, o sea, expresables en cifras ab-so]utas o porcentuales, Como ya explicamos anterior-mente, ese tipo de indicadores si bien es muy necesario,no resulta sufIciente para comprender y explicar cómo seincorporan los líderes a los procesos de la gestión, quéoportunidades encuentran y con qué facilidades ]0 haceno bien cuáles obstáculos se lo impiden o qué factores se lodificultan. Para mejorar esa comprensión deben procu-rarse además indicadores cualitativos, que permitan"triangu]ar" ]os anteriores. Mediante testimonios de los

157

II!

~-

"' ••..--------------

OI'J"{! Nirenbenr ]o.l'etteBrmuerrlum, Violeta Ruizó h'.

propios jóvenes líderes capacitados pueden obtenerse in-dicadores acerca de cómo ocurrieron (o no ocurrieron)

.. 1 b 1" t "sus lJ1cOrpOraClones a .os procesos a, y c, a aper uraencontrada para su ingreso, las dificultades presentadas,el sentimiento de pertenencia, el compromiso con la ges-tión; todos constituirán indicadores relevantes para laemisión de un juicio acerca de esa variable. 'nl111bién se-rán importantes los testimonios de los actores adultos re-levantes para responder acerca de estas cuestiones. Esbueno recordar que los testimonios no surgidn "espon-táneamente" sino como respuestas a preguntas previstasen guías de entrevistas o pautas de reuniones o talleres.

La selección de indicadores permite definir las técni-cas apropiadas y el posterior discfío de instrumentos derecolección de información. En el caso del ejemplo, unode los instrumentos sed la planilla de registro de asisten-cia a las actividades de capacitación y la técnica será elanálisis estadístico; otro instrumento requerido sed unapauta para el seguimiento de los capacitados -o un cues-tionario aplicable a ellos- para determinar si están o noincorporados a los procesos eIave antes mencionados;asimismo, como se expresó, se requeridn guías para en-trevistas o pautas p;lra talleres, de manera de recoger tes-timonios acerca de las características o modos de incor-poración de los jóvenes a esos procesos.

La selección de indicadores deberá reali¡,arse tenien-do en cuenta criterios de f~lctibiJidad para conseguir lainformación respectiva. Asimismo, es necesario que éstoscumplan con los requisitos de validez, de sensibilidad, deespecificidad y de confiabiJidad, para que la informaciónresultante sea Útil; por otra parte, se contemplarán aspec-tos éticos en su obtención y utilización.

El di.l'dlOde un modelo evaluativo

Los indicadores que se elijan podrán ser más o menosprecisos, segÚn la disponibilidad o acceso a la informaciónrequerida. Utilizando otro ejemplo, si se trata de un pro-yecto de jóvenes que, entre otros temas, aborda el del tra-bajo juvenil-el que constituye una dimensión-, una varia-ble de resultados en esa dimensión se referirá, sin duda, ala promoción de oportunidade.I·laborales para losjóvene.1". Paraespecificar esa variable pueden proponerse distintos indi-cadores: un inclicador de producto sení la cantidad dej()ve-ne.I'que asi.I'tieron a los Cltl:ms deformación para el tI'abajo quese realizaron en el marco del proyecto, que se obtendrámediante las listas de asistencia que llevan los docentes;un indicador de efectos será la pTOjJorcián dejóvenes a.I'i.I'ten-te.I'a lo.\"cursos que adquirienm las competencias e,ljJeradas parael determinado oficio, que se obtendrá mediante los regis-tros de los puntajes alcanzados por los alumnos en laspruebas de nivel que les fueron tomadas por SllS docentesdurante la capacitación. Otro indicador, más preciso, pe-ro m;ís difícil de obtener, es la proporción de jávene.l· que asis-tienm a 10,1'Cltl:ms'y que lograron insertm:I'e laboraln/ente en ta-ITas l'elaciOfuldas con la mpacitacián recibida, donde ya nobasta con los registros propios del programa sino que pa-ra saber si logl~aron inserción laboral en puestos afinescon la capacitación realizada, habrá que efectuar un segui-miento de los asistentes a los cursos una vez que los ter-minaron y ya estén fuera del programa. Los mencionadosconstituyen indicadores expresados de forma cuantitativa,pero también habrá que recoger otros que se expresencualitativamente, tales como confin7¡Údad de losjávenes conla mfmera en que se 171~indm7 los Cltl:ms (de proceso), m~jora-miento de la fll7toestinUl en los jóvenes mpacitados (de resulta-dos), cmnbio.I' en los modo.I' de ~inCltlm:\"e entlT pare.\"(de resul-

159

0Zr.;aNirenberg, Josette Brawerman, Violeta Ruiz El diseño de un modelo evaluativo

REPRESENIATfvrDAD Cubre todas las cuestiones ya los indi-viduos que se espera cubrir.

tados) o importancia de los cursos a los que a.\'istieron, tantopara sus actuales inserciones en el mercado laboral comopara mejorar la situación en la que se encuentran sus fa-milias (de resultados). Ello podrá hacerse mediante lostestimonios de los propios jóvenes, por las opiniones delos coordinadores de los cursos y de los familiares u otrosadultos significativos.

Pese a que sabemos las dificultades que tiene cumplircon todos los requisitos para elegir buenos indicadores,el esquema que sigue resume las principales característi-cas que deben reunir idealmente.

Las técnicas y las fuentes

Debe ser simple y fácil de interpretar,no ambiguo.

Los datos a recoger para su interpreta-ción deben ser de fácil disponibilidad.

Los usuarios deben percibir la utilidaddeJ indicador como un "marcador" deprogreso hacia los objetivos o de logrode resultados intermedios o finales.

El indicador podrá especificar o refe-rirse a más de una variable al mismotiempo.

Tanto la recolección de información co-mo su procesamiento y difusión res-guardarán los derechos de las personasal anonimato y a elegir si dar o no la in-formaciÓn (consentimiento informado).

La recolecciÓn de la información y elprocesamiento posterior es razonabley posible en funciÓn del presupuestodisponible y la utilidad esperada (asícomo de su sinergia).

No es Único para un proyecto, sinoque puede ser Útil para otros proyectosen otras 10caJizaciones; debe permitirulteriores comparaciones.

CLARIDAD

UTILIDAD

ACCESIBILIDAD

REPLICABILIDAD

COSTO

É'rICA

SINERGIA

En cada caso se deben detallar las técnicas y los pro-cedimientos para la medición u observación, y se especi-tlcarán los instrumentos requeridos, para poder emitir eljuicio valorativo fundamentado sobre la base de la infor-mación obtenida.

El indicador debe hacer referencia aaquello que rea]mente procura mediro aprcclar.

Ante diferentes mediciones o recolec-ciones efectuadas en las mismas cir-cunstanci,ls en LIs mismas poblacionesy al mismo tiempo, el valor de] indi-cador será el mismo. En el caso de in-dicadores cu,llitativos, expresadosverbalmente, dicha expresiÓn verbalpreservará el sentido de lo declarado,no lo distorsionará.

Debe reflejar sÓlo los cambios en lacuesti(¡n o t~lctor en anMisis, y nootros.

Debe ser eap,lZ de registrar los cam-bios que se producen en la cuestiÓn ofactor en ,1Il,ílisis, por más leves quesea n.

C;()NFIABILIDAD

VALIDEZ

ESPECIFICIDAD

SENSIBILIDAD

/60 161

()Z~ll Nirenberg, ]osette Brawerrnan, Violeta Ruiz

Es probable que se requiera implementar registrosadecuados para la evaluación, dado que los que se llevanregularmente en las instituciones u organizaciones nosiempre satist~1cen las necesidades evaluativas. Asimismo,es recomendable que se realicen algunos estudios o rele-vamientos ad hoc en momentos determinados, como en-cuestas a los destinatarios o beneficiarios, entrevistas alos actores significativos en el nivel operativo, solicitudesde informes especiales a ]os gerentes, etc.

Una de las razones de diseñar el modelo evaluativotempranamente, aun antes de comenzar la ejecución delprograma o proyecto, es justan1ente la de desarrollar ]osinstrumentos y mecanismos de registro, de modo t,11quefonnen parte de las tareas propias de ]os equipos que eje-cutan las actividades; es decir que la recolección de infor-maciÓn para la evaluación constituye una m,ís de las ru-tinas propias del programa o proyecto.

Reiteramos que los instrumentos deberán haber sidopreviamente puestos a prueba, mediante adecuados pre-test o pruebas piloto.

Las preguntas orientadoras

En función de nuestra concepción de]a cva]uación co-mo una instancia de enseñan7.a/aprendizaje, es el métodosocnltico el que sigue siendo, a nuestro entender, el n1<Ísindicado desde el punto de vista pedagógico: es haciendolas preguntas correctas y esforÓndose por resp0]1(krlascon razonamientos, fundamentos y evidencias como sellega a aprcnder ]a esencia y e] funcionamiento de las co-sas. Es cierto que esa postura parece hoy día muy 1"<1cio-

ló:'

El di.reñode un rnodelo evaluativo

nalista; "quien sepa lo que es bueno, también hará elbien", decía Sócrates,11 dando a entender que los conoci-mientos correctos conducen a acciones correctas; si bienhoy desconfiamos de esa aseveración, sí podemos atlrmar-por la contraria- que el desconocimiento suele llevar aacciones incorrectas. La razón -cartesiana- no es el úni-co camino ni alcanza para el conocimiento correcto, niéste basta para actuar bien; pero no puede negarse que larazón es necesaria; para razonar debemos plantearnos laspreguntas correctas y encontrar las respuestas mejor fun-damentadas, con las mejores razones. Claro está que paraactuar necesitamos, además del conocimiento apropiado,la motivación y los valores éticos de sustento.

La claridad en la determinación de las dimensiones,las variables y los respectivos indicadores permite fonnu-lar las preguntas correctas, que podrán ser respondidasmediante ]a recolección de ]a información apropiada; elan,ílisis de las respuestas a tales preguntas permitirá laemisión de los juicios va]orativos fundamentados.

En realidad tales preguntas orientadoras se ret1eren alas variables y a cada uno de sus indic1dores; y lo ciertoes que existe un interjuego en la formulación: de las pre-guntas se deducen variables e indicadores y viceversa, delas variables e indicadores emergen las preguntas, en unmÚ]tiple proceso de feedback.

Podríamos arriesgar (aunque es rnateria opinable) quela formulación de las preguntas se hace mediante un pro-ceso que va desde ]0 más genera] a lo particular o especí-fico; o sea, se va siguiendo el ''<írbo] lógico" en que seabrió cada dimensión y cada variable. En el ejemplo que

13. PlatÓn, Apología de Sócmte.I·, Buenos Aires, EU DEBA, J 'JH4.

163

Oiga Nirenber[!;,]osette Brmverman, Violeta Ruiz

veníamos desmenuzando, las primeras preguntas, de ca-rácter más general, son: ¿se desarrollaron estrategias yacciones para el fortalecimiento de las capacidades de li-derazgo de los jóvenes?, ¿cuáles?

Una pregunta de carácter menos general, con referen-cia a la variable que usamos para ejemplificar indicadores,es: ¿se incorporaron los líderes juveniles que fueron capa-citados a los procesos de la gestión del proyecto?, y aúnpodemos especificar más: ¿cuántos líderes juveniles capa-citados se incorporaron a los procesos a, by c?

Si bien alguien puede decir que con sólo definir las va-riables y los indicadores ya sería suficiente, las preguntasorientadoras tienen como utilidad la de constituirse en una"ayuda memoria" para los que tienen responsabilidades enlos diferentes momentos del proceso de aplicación evalua-tiva; asimismo, sirven de guía para escribir el informe pues,como se expresará más adelante, éste deberá contener res-puestas apropiadas a esas preguntas orientadoras.

La matriz síntesis del modelo evaluativo

Es posible esquematizar los pasos descriptos hasta aquíen una matriz que sintetizará el modelo evaluativo; los tí-tulos de las columnas de esa matriz son los siguientes:

l. Dimensiones.2. Variables para cada dimensión.3. Indicadores para cada variable.4. "récnicas y fuentes para obtención de la inl~mnación.5. Principales preguntas evaluativas.

!64

~ lIIiiIíiilllÍllií~ilífjn¡¡,¡•••••• "••··••••iIIi-¡ •••••¡¡¡¡··-j •••~ •••• •••••;¡.i¡¡¡;._-""U~¡.I.l&¡,¡ .••.•.. '

El diseño de un modelo evaluativo

Aunque no es imprescindible, se podrá incluir una co-lumna más, consignando la periodicidad sugerida para larecolección de la información relacionada con cada indi-cador o variable.

El objeto de esa matriz es dar a entender, de formasintética e interrelacionada, cuáles son los aspectos a eva-luar, cómo (y cada cuánto) se medirán o apreciarán y quérespuestas deberá dar, como mínimo, el informe evalua-tivo. Las definiciones y eXplicitaciones acerca de esos as-pectos -dimensiones, variables e indicadores, por un la-do y técnicas a utilizar y fuentes, por otro- deberán figu-rar de forma más amplia y comprensible en el capítuloconceptual y metodológico que se incluya en el modeloevaluativo.

En el anexo se incluye un ejemplo de matriz síntesispara algunas dimensiones de un modelo evaluativo.

El instrumento valorativo:un modo de cuantificar 10 cualitativo

La experiencia nos ha demostrado que es de utilidadla elaboración de un sencillo y sintético instrumento va-lorativo, que formará parte de! modelo evaluativo y me-diante e! cual se podrán otorgar puntajes a cada una delas variables y dimensiones, según escalas sencillas de nomás de cuatro o cinco puntos. tste se podrá cargar enuna base de datos y así se facilitarán las actividades demonitoreo o e! seguimiento sistemático, para permitircomparaciones en diferentes 1110mentos del período deejecución y, en el caso de los clllsten, también compara-CIones entre proyectos.

165

íiiihi_~, ~ _

OIga Nirenberg, JOj'ette BraWel?ncm, Violeta Ruiz

Mediante el instrumento valorativo se pueden atri-buir cuantificaciones a las apreciaciones cualitativas,asignando valores en puntos de escalas, lo cual permitesintetizar los hallazgos y hacer comparaciones del tipo"mejor/peor", a través del tiempo (de cada proyectocontra sí mismo en la serie de las diversas aplicacionesevaluativas) y entre las distintas localizaciones, es decir,entre los diferentes proyectos incluidos en un mismoprograma o cluster. En algunos casos, los datos son es-trictamente cuantitativos, por ejemplo: cantidad de ac-tividades realizadas, número de personas cubiertas porlas diferentes actividades, porcentaje de ejecuciÓn pre-supuestaria, estructura porcentual de fuentes de finan-ciamiento, entre otros muchos ejemplos. Las compara-ciones en tales casos son del tipo "mayor/menor"," '/ ." I . d I / I Imas menos , cercanos o a eJa os ( e estan( ares pre( e-terminados.

La atribuciÓn de valoraciÓn a cada variable y a cada di-mensiÓn en el instrumento valorativo se realizará por lacombinatoria de las valoraciones otorgadas a los respec-tivos indicadores (en el caso de las variables) y por ]acombinatoria de las valoraciones de las respectivas varia-bles (en el caso de las dimensiones). Esas combinatoriasno serán exclusivamente aritméticcls por dos razones: laprimera, porque no todos los indicadores de una mismavariable tienen por qué tener igual cantidad de catego-rías; algunos pueden tener dos (por ejemplo: sí/no), otrostres (por ejemplo: mucho, poco, nada) y otros más de tres(como en el ejemplo que se da más adelante); y la segun-da razÓn, porque además de la atribuciÓn de valoracionesa cada indicador, cada actor que evalÚa tendrá una apre-ciaciÓn global acerca de cada variable como un todo. Si

166

El diseiio de un modelo evaluativo

bien deberá analizar esas apreciaciones globales en fun-ciÓn de las valoraciones parciales de los indicadores, po-drán existir diferencias (que requerirán explicaciÓn). SÓloentonces adjudicará valoraciÓn a las variables, en funciÓnI "1" "1 . 1 .(e una esca a SIntesls para a que se sugIeren as SI-

guientes cuatro categorías:

l. Insatisf~lctorio.2. Poco Satisfactorio.3. Satist~lctorio.4. Muy Satist~lctorio.

El mismo procedimiento se aplica a la valoraciÓn delas dimensiones a partir de sus respectivas variables.

Es importante caracterizar las categorías en cada unade esas escalas, es decir explicitar los criterios para adju-dicar uno u otro valor en [os puntos dc esas escalasconstruidas para las variables y dimcnsiones; tales crite-rios marcarán la direcciona]idad deseable de una deter-minada cuestiÓn (variable o dimensiÓn) a lo largo deltiempo de la gestiÓn; eso pondrá en evidencia cmll es la"imagen objetivo", el horizonte deseado para la particu-lar variable () dimensiÓn. Las escalas, entonces, podránreflcjar el proceso evolutivo esperado de la acciÓn res-pectiva. Allí radica la importancia sintetizadora de esteInstrumento.

El otorgamiento de cU<U1tifjcaeiones en el instrumen-to de valoraciÓn será posible mediante las descripciones,apreciaciones y explicaciones volcadas en un informe quese escribirá previamente; asimismo, ésa debería ser unatarea conjunta de los miembros del equipo que realiza laevaluaciÓn, en cada uno de sus niveles, de modo que las

167

IIIIIIIIIt

OIga Nirenberg, ]o.\'ette Brawerman, Violeta Ruiz

valoraciones en las respectivas escalas sean producto dediscusiones y consensos.

Se desprende entonces que el instrumento valorativopermitirá una visión rápida y a la vez facilitará síntesis ycomparaciones, mediante cuadros y gráficos; pero si bienes necesario, no resulta suficiente para una comprensióncabal de lo que sucede en los proyectos o programas, si-no que se requieren además las descripciones y explica-ciones que brinda el informe en prosa acorde con los ca-pítulos del modelo.

Insistimos en la importancia subsidiaria del instru-mento valorativo respecto del informe, pues hemos parti-cipado de alguna evaluación donde se entronó a tal ins-trumento como el más relevante en el proceso metodoló·-gico, aunque contradictoriamente se hizo rutinaria y setrivializó la tarea conjunta de adjudicación de puntajes enlas escalas por parte del equipo; al considerar el procesoevaluativo como un método para asignar puntajes a losproyectos, se relegÓ el significado de la evaluaciÓn comoinstancia de aprendizaje que ad propugnamos, lo cualquitÓ riqueza a todo el proceso y contribuyÓ a producirconflictos entre los miembros del equipo y otros actores,muy diflciles de resolver.

Más allá de todas esas advertencias, la cuantificaciónefectuada a través del instrumento valorativo descriptotiene la virtud de satisfacer las inquietudes cuantitativis-tas y sintetizadoras que suelen tener las agencias de coo-peración y entidades nacionales o externas de financia-mIento.

A modo de ejemplo se anexa un instrumento valorati-vo acorde con la matriz síntesis, también anexa.

168

CAPITULO 6La aplicación del modelo evaluativoy la diseminación de los resultados

PP: ¿Son versos lo que queréis escribir?J: No, no ... nada de versos ...PF: ¿Pl'osa, tan .wílo?]: No, no quiero ni verso ni pro.w.PF: Ha de ser necesariamente una cosa u on'a.]: ¿ Pm" qué?PF: Por la raz!Ín, seíiar, de que, para expl'esarse, no hay más quela prosa o los versos.[...J]: Y corno uno habla, ¿qué es ello?PF: P1"osa.f. ..J]: iA fe mía' Haa 11l(Í.\"de czun"enfa /lFIOSque hablo en pmm .\'in.wbel·lo; os quedo muy (!f!,radeádo por habÓ"11lelo ensfijado.

M()Ll¡'m.l,~1

l.ransferencia del modelo evaluativo y ajustes

Para la aplicación del modelo evaluativo deberá contem-plarse previamente una etapa de capacitación o transferenciade éste a aquellos actores que asumirán responsabilidadesdurante su aplicaciÓn. Conviene realizar esa etapa antes decerrar la fimnulaciÓn del modelo, para dar lugar a ajustesmediante las intervenciones de quienes lo utilizarán.

Por m~1s que se hayan realizado exhaustivas capacita-ciones y simulaciones de forn1a previa a la aplicaciÓn, ha-

l. Moliere (1(,70): "El burgués gentilhombre", en Obms Completas,Madrid, Aguilar, 1945, acto II. PF es el profesor de filosofía y J es Jour-dain, el burgués ennoblecido.

169

OIga Nircnberg, }osette Brawernu177, Violeta Ruiz

brá de tenerse en cuenta la necesidad de asistencia técnicapor parte de los metodólogos para aquellos que tienenresponsabilidades en relevar información y llenar formu-]arios, protocolos, coordinar talleres, armar informes par-ciales, etc.

Dado que los programas o proycctos tienen una du-ración considera b]e (entre dos y cuatro afíos, por lo ge-nera]), debería aplicarse e] modelo evaluativo con unati'ecuencia semestral, aunque ciertas informaciones re-]acionadas con el monitoreo, tal como ]a ejecución fi-nanciera, la cobertura de beneficiarios, la cantidad deservicios o prestaciones brindados, entre otras, podránrequerir mayor frecuencia (bimensual o trimestral).Otras cuestiones que requieren mayor esfuerzo de re]e-vamientos especiales o en las que no son esperab]escambios en lapsos menores, podrán hacerse de 1~)J'maanual. La primera aplicación del modelo evaluativo de-bería ser "completa", ya que podd constituir su puestaa prueba, ]uego de 1<1cual se introducidn nuevos ajus-tes, acordes con las dificultades observ~ldas en la prácti-ca y las sugerencias que formulen aque]]os que intervi-nieron en la primera aplicación.

Los énfasis o focos en los distintos momentos.Inclusión de ajustes

Al estar integrado por dimensiones, el modelo evalua-tivo adquiere la estructura modular a la que aludíamos enel capítulo anterior; dÓnde se colocará el éntasis de cadaaplicación depended de los momentos de evoluciÓn de lagestión de los programas o proyectos. Parece lÓgico pen-

l70

La aplicacÚ571del modelo evaluativo

sar que, en un primer período, la evaluación pondrá énfa-sis en los aspectos de implantación y de instalación de es-tructuras, como son las construcciones o remodelacionesde plantas tlsicas, la adquisición de equipamientos e insu-mas, la integración y capacitación de los equipos técnicos,etc. En un momento posterior, pero intermedio, el énfasisserá colocado más en el desarrollo de los procesos sustan-tivos, en los ¡Ilodos de trabajo y funcionamiento de las ac-tividades, en los estilos de gerencia que se adopten. En unÚltimo período, el éntasis se pondrá más en los resultadoso cambios producidos debido a la gestiÓn del programa oproyecto, así como en la eficacia de las estrategias que sedesplieguen para lograr la futura sustentabilida(F socia] yeconómica, una vez que acabe e] período "subsidiado" dela gestión.

Cuando hablamos de énfasis, queremos significar quesi bien a ]0 largo de todo el período de ]a gestiÓn se ten-drá en cuenta el modelo evaluativo completo (con todassus dimensiones y variables), en ciertos momentos se co-locad una lente de aumento en algunas cuestiones ¡násque en otras para poder realizar un análisis de mayor de-ta]]e, poniendo foco en esos aspectos más que en los res-tantes. Es necesario entonces que en cada aplicación, deacuerdo con e] momento en que se realice, se explicitenclaramente cU~1lcs son los focos.

A raíz de esos énLlsis o focos sobre ciertas dimensio-nes o variables ]11<1s que en las restantes, habrá que revi-sar sus aperturas originarias (en variables e indicadores

2. Algunas agcnci'ls adoptan el término "institucionalizaciÚn" paranombrar la sllstcntabilidad social y cconÓmica futura dc los programas opn 'ycctos.

171

OIga Nire71berg, ]o.\'ette Brawe'l7ntm, Violeta Ruiz

respectivamente), pues seguramente será necesario am-pliarlas, hilando más fino, con mayor grado de detalle,planteando más indicadores, formulando preguntas másespecíficas, que calen más profundo. Eso suele sucedertambién debido al paso del tiempo, a] avance de los pro-cesos de ejecución y los aprendizajes que conllevan, so-bre todo en los proyectos o programas de tres o más añosde duraeión y euyos modelos de evaluación fueron for-mulados a priori o muy al inicio de la ejecuciÓn. Así co-mo son necesarias reprogramaciones de ]a acción, tam-bién se requieren reformu]aciones o ajustes del modeloeva]uativo a lo largo del tiempo.

En e] capítulo anterior, cuando nos referimos <1 losatributos de] modelo, dijimos que era aconsejable dise-ñarlo a la par de ]a formulación pro gramática e iniciar laaplicación de forma casi paralela a la ejecución; peroaclaramos que si bien eso es deseable, no siempre es po-sible. Con demasiada frecuencia, los evaluadores somosconvocados cuando las gestiones de los proyectos finali-zaron o están por finalizar. Lo dicho para la realizaciÓndel diseño de la evalmlCiÓn, en trabajo conjunto conquienes lo formularon y/o ejecutaron, seguirá siendo V<l-lido en estas situaciones. Los focos también en esos ca-sos estadn en los resultados o efectos, dado que se tratade evaluaciones al fina] de la ejecuciÓn, pero para enten-der y explicar cÓmo se llegÓ a tales resultados o efectosdeberán reconstruirse los procesos desarrollados y lasestructuras implantadas y utilizadas. La índole de las di-mensiones, las variables y los indicadores no será sustan-cialmente diferente, sÓlo variarán los tiempos de verbo:no se hablará ya en clave de futuro o presente sino másbien en tiempo pasado; no se hablará de la direccionali-

172

La aplicación del 7170deloevaluativo

dad deseable sino de las decisiones que fueron tomadassobre estrategias que posibilitaron obtener tales o cualesresultados.

La participación de los actores

La participaciÓn de los actores que se desempeñan endiferentes roles y niveles de ]a acción, particularmenteaquellos que están en los niveles operativos, es decir, el"lugar donde se hacen las cosas", es relevante por tres ti-pos de motivos.

• Éticos o axiológicos: porque todos aquellos que tienenintereses o se involucran en un particular campo deacciÓn tienen derecho a opinar sobre todo porquepuede haber aspectos que los afecten de forma per-sona] .

• Epistel7Zolágicos: porque cada tipo de actor, de acuerdocon su posiciÓn, tiene una particular mirada, un espe-cial conocimiento acerca de cuáles son los factores re-levantes que inciden en los resultados de la acción yde la realidad que se procura conocer o evaluar, demodo que reunir todos esos saberes implicará un másamplio y profundo conocimiento.

• Pragrmíticos o de efictlcia: porque si los actores se invo-lucran desde ]a misma construcciÓn de] modelo, severán más comprometidos] uego en el momento de laaplicación, contribuyendo así a su viabilidad.

Es fácil detectar a quienes deben participar cuandoelmode]o evaluativo se formula después que ha comen-

173

,~ •••••••••••• ~ ••••.•••.' •••.•••••••••.••••••"·••••••••';.;...•••- ••••.....:.••••••···.".~,·'i·M.i~_¡j;¡¡,j~~IftiII:!jI •••••••••"•••_ •••iIl •••iIItaW1•••••••. imIIIIIit!III_•••-_"'--- •• :¡.

Oiga Nirenbe'lp;, ]oJette Brawernum, Violeta Ruiz

zado la ejecución del programa o proyecto. Pero si elmodelo se diseña a priori, un requisito será otorgarleflexibilidad para que puedan introducirse ajustes en elmomento de la ejecución, cuando los actores del niveloperativo se incorporen.

Dado que esos actores -tanto los que programan co-mo los que conducen y los que operan, así con10 los des-tinatarios de las acciones- no tienen por qué ser conoce-dores de las disciplinas metodológicas, lo más sencillo esinvolucrarlos en la determinación de los grandes ejes quedebiera considerar la evaluación y, a partir de ahí, solici-tarles que planteen las preguntas que en cada uno de esosejes les parecen relevantes. Luego, los metodólogos/eva-luadores podrán traducir los ejes en dimensiones y laspreguntas en variables e indicadores.' Es recomendable,luego de pasar todo por el tamiz metodológico, realizaruna segunda vuelta con los actores para someter a críticalo diseiiado. Seguramente ese proceso implicará variasidas y vueltas. La dinámica de taller es la más efectiva pa-ra tales tareas.']

Lo dicho es válido para la etapa del diseño, pero cabeadcmás sefíalar quc una idea relevante, que est<í por de-tr:ás de todo lo expucsto hasta aquí, es que un mismo mo-delo evaluativo sea aplicado por difcrentes actores ubica-dos en los diferentes nivelcs de la gestión de los progra-mas o proyectos.

3. Los metodÓlogos/evaluadores deherán esforzarse por evitar hs"traieiones" de las que son ,¡cusados los traductores (trtlilu!tl!1"e, Irlillittore),respetando fielmente las intenciones de los que f(JrJ11ubron las preguntas.La revisiÓn posterior por parte de los actores preserv'lr,¡ t'l!eS cuestiones.

4. A propc')sito de técnicas, véase el capítulo 4.

174

La aplicación del modelo evaluativo

Para elegir un ejemplo bastante complejo, considere-mos un programa nacional que se concreta en proyectosque se ejecutan en diferentes provincias/estados, a cargode organizaciones de la sociedad civil -OSC-, con un ge-rentc o coordinador a cargo de los subprogramas en ca-da una de las provincias/estados;5 el modelo podrá seraplicado a modo de autoev:lluación o bien .de evaluacióninterna, segÚn los casos, por parte de los lluembros de lasOSC y los equipos técnicos que ejecutan los proy~ctos;también lo aplicará el gerente, a modo de una cuaSI eva-luación extcrna respecto de cada proyectoÓ y como au-toevaluación respecto a cucstiones del subprograma a sucargo; y finalmente será utilizado por la coordinaciónnacional del programa. Los tres tipos de actores, de losniveles local, provincia1lestadual y nacional, compartenel mismo modelo evaluativo, con las mismas dimcnsio-nes, variables e indicadores y deben dar respuesta comomínimo a las mismas preguntas orientadoras; segura-mente aplicarán diferentes técnicas en cada uno de. esosniveles y ciertanlente las apreciaciones y valoracIOnestendrán diferencias. Los productos evaluativos de cadauno constituyen in sumos pa ra el siguiente: el gerenteprovincia1lestadual tomará en cuenta los informes y losinstrumentos valora tivos que elaboren los proyectos ym:lrcará sus acuerdos y sus diferencias, y lo mismo suce-derá en el nivel nacional. A partir de allí puede generar-

S. Este ejemplo es 'lsimihh!e al G1SOde ev,¡luacic'm de cluster.Ó. 1':11nuestro ejemplo, huho casos de gerentes provmcla!es que tra-

h'ljaron juntamente, hajo h modalidad de taller, con los ,!Jstmtos actoresde cad'l uno de los proyectos del suhprogr:11na a su cargo, lo cual enrIque-ciÓ los productos evaluativos.

175

OZgaNirenberg, Josette Brawernum, Violeta Ruiz

se un proceso de discusiones y reflexiones conjuntas quepermitan poner en claro las razones de las diferencias yllegar gradualmente a mayores acuerdos o acercamien-tos; pero tales discusiones se darán en un marco concep-tual y metodológico compartido. Las apreciaciones eva-luativas emergerán así como productos de campos epis-temológicos de intersubjetividad, donde interactuaronlos actores signif1cativos en los diferentes niveles de laacción, incluyendo los "destinatarios" de esas acciones.

La inclusión de estos últimos -la población objetivo,los beneficiarios, los clientes, los usuarios- puede asegu-rarse mejor en el momento de ]a autoevaluación o laevaluación interna, ya que es en el territorio mismodonde se ejecuta el proyecto; sin embargo, también des-de los otros niveles de la evaluación (e] intermedio o es-taduallprovincial y el central o nacional) puede contem-plarse la inclusión de esos actores primordiales, median-te estudios específicos en determinados momentos de lagestión o bien después de que haya finalizado.

No se desconoce, pese a lo dicho, que cada nivel dean~llisis o de la acción tiene sus especificidades, por ]0cual habrá variables propias que se requieran evaluar encada uno; pero a lo que nos referíamos es al necesario"modelo compartido", el nÚcleo comÚn, que además deinteresar a todos, brinde la posibilidad de consolidaciónpara diálogos y aprendizajes conjuntos.

Acá sc hizo alusión a la inclusión de los actores cn lasetapas de diseño y de aplicación de] modelo eva]uativo;en un apartado posterior sc hará referencia también a suparticipación en el momento de análisis de los resultadosy de los acuerdos con ellos sobre las recomendacioncspara la acción futura.

176

La aplicación del modelo evaluativo

La formulación de juicios valorativosfundamentados y de recomendaciones

Hay un momento en soledad del evaluador (o del equi-po). Es después de haber hecho las visitas de terreno,cuando todo el material está desplegado, ya se leyeronlos documentos, se analizaron las cifras, se repasaron lasnotas de las cntrevistas y reuniones o talleres, se ticnenfrescos aún en la memoria ]os diálogos y las discusionesmantenidas con los diferentes actores en el escenario delos hechos se recuerdan las observaciones realizadas, to-,do ello cnmarcado por el relieve del modelo evaluativo,sus variables y sus preguntas.

Ése es el meollo de toda la actividad evaluativa, el mo-mento por excelencia, cuando se necesita dar respuestas,sintetizar la cuantiosa información que por diferentes víaso fuentes permite describir y explicar lo que vimos, escu-chamos o supimos sobre lo que pasa. Se requiere allí po-ner de manifiesto nuestros entusiasmos y nuestras discon-formidades. Y, sobre todo, se requiere sacar conclusiones:emitir juicios va]orativos sobre cómo se están haciendolas actividades, si están insertas en enfoques adecuadosque responden a los estados del arte en los respectivoscampos, si se orientan hacia donde deberían, si son visi-blcs algunos resultados positivos, cuáles son las dificulta-des u obstáculos, cuáles las fortalezas y oportunidades; ya partir de tales juicios, cuáles recomendaciones son per-tinentes para mejorar o reforzar ]a acción futura.

Es el momento de la proactividad, donde la experien-cia del evaluador se pone en juego para concluir y acon-sejar, en suma: para procurar influir en la transforma-ción de las realidades que analizó.

177

()I,~fl NirenbC'lX, ]o.I'ette Bn17uennall, Violeta Ruiz

Para eso nos convocan y nos pagan a los evaluadores;ésa es la tecnología que poseemos, la habilidad más difí-cil de transferir: esa capacidad para tnmsfornutr umdalesde informacián en nuevo conocimiento, para unir distintos ti-pos de percepciones, intuiciones, experiencias y conoci-mientos, hacer con ello un tramado que en principio pa-rece caótico, enredado y confuso, pero en el que luegocomienzan a percibirse las conexiones y se produce el in-sip;ht que permite emerger un nuevo saber, un conoci-miento formulado en juicios, sometido ,l crítica y nuevospulimientos, pero orientado ,l difundir aciertos o a cam-biar lo que consideramos incorrecto o aún incompleto, ypor ende lnotivo de disconformidad. Somos los evalua-dores quienes tenemos el deber de nombrar ciertas cosasque ocurren, que estaban, pero ocultas porque no teníannombre; y lo que no se nombra no existe; entonces, ¿có-mo actuar en relaciÚn con aquello que no existe porqueno se nombra? Por eso, la evaluación al nombrar, bcilitaactuar.

H.ay sucesos m,ls t~íciles y otros más difíciles de nom-brar. Tmlbién allí radica la excelencia de ]os eva]uadores:en cómo logran nombrar lo que sucede; en cómo formu-lan sus juicios va]orativos y en cómo los fundamentan.Porque lo cierto es que algunas "verdades" pueden ofen-der y doler. A todos nos prOVOGlmolestia, a veces dolor,cuando nos muestr;m algo que hacemos mal o no tanbien. Dependenl del modo en que se]o exprese, de la in-tención y el tono con que se emita el juicio, que cI doloro la molestia disminuy,m o ni se perciban y a la vez quesea mayor la aceptaci(m e incorporación de las recomen-daciones consecuentes. Eso mostranl la caJidad dcl eva-]uador, en forma similar a la mano pesada o deliwdfl de ]a

178

La aplicación del modelo evaluaÚvo

enfermera que administra la inyección para aliviar o cu-rar al paciente.

Si damos por sentado que tanto nosotros, los evalua-dores, como los otros, los que formulan y/o ejecutan ac-ciones en los proyectos, tenemos buena fe, compartimosciertos valores éticos y estamos trabajando por objetivoscomunes, aunque en diferentes roles, que no deseamosponer de manifiesto mutuas debilidades o incapacidadessino aprender juntos de la experiencia, entonces, todopuede nombrarse, todo es Hcil de decir y conversar. Siesos supuestos del respeto por lo que el otro piensa y ha-ce son compartidos, el diálogo podrá tocar todos losítem y e] trato sed de igual a igual.

En cuanto a ]os aspectos operativos de esta fase, dire-mos que para emitir los juicios debemos transitar pordescripciones y explicaciones acerca de cómo ocurren lascosas; debemos recordar cómo fueron formulados losobjetivos y programadas las acciones, para contrastarahora con lo hecho y obtenido.

Para llevar a cabo ese tránsito, el método aconsejablees ir considerando variable por variable, analizando deforma horiz.ontal todas las fuentes informativas -autoeva-Iuaciones, informes pautados, estadísticas, documentos,notas de campo, etc.~ que puedan arrojar alguna luz so-bre tal variable; así, completar las descripciones y expli-caciones emergentes y de allí concluir un juicio aprecia-tivo sobre la variable en cuestión.

Daebs las interrelaciones existentes entre las diferen-tes v,lriables, suceded que llnas proveerán argumentospara otras. Por ejemplo: si es muy escasa ]a participaciónde los Példres o las madres de los niños beneficiarios, esotendrá sin duda vinculación con las deficiencias observa-

179

:

1

1

,

1

I'!

i

l

', I

I1,

11

1

1

1

~ 1I

i

I

OZr¿;aNirenberg, ]o:;ette BrCl7ve1'man, Violeta Ruiz

das en las actividades y los materiales comunicacionalesproducidos en el respectivo proyecto, y el escaso éxitoobtenido en las convocatorias.

Similar procedimiento es aconsejable con las dimen-siones. Aunque en este caso, además del trabajo de formahorizontal, es requerido también el vertical, puesto que lasvariables son las que explican gran parte del juicio que seformule respecto de una determinada dimensión. Diji-mos "gran parte", lo cual no significa "todo", pues sinduda existe una mirada general, gesttiltica, que irá más alláde la sumatoria o agregación de las apreciaciones realiza-das para las variables respectivas.7 Esa mirada global delevaluador es la que podr,) dar cuenta de aquellas poten-cialidades, aquellas cuestiones que, aún no concretadas,prometen serio, más allá de lo concretamente observadoo "lo objetivable" hasta el momento.

Los evaluadores solemos adelantar nuestros juicios enlos momentos de interacción, durante las visitas de terre-no, debido a la ansiedad y las preguntas que nos fonnu-lan los actores de 10s proyectos. Eso tiene ventajas puespueden discutirse apreciaciones erróneas, realizadas so-bre bases de evidencias parciales, y así lograr mayor ymejor información por parte de los actores informantes,de modo de corregir juicios apresurados. Pero debe re-conocerse también que se requiere una distancia tempo-ral prudente para madurar y volver a pensar convenien-temente los juicios, más alt) de la instancia vivencial quetranscurre durante las interacciones en terreno.

7. Recordemos que las variabJes fueron "seJeccionadas", por endenunca completadn el espectro posible; siempre h'lbní aspectos que que-den fuera.

ISO

La aplicación del modelo evaluativo

Las impresiones recibidas en las visitas deben medi-tarse más a la luz de los documentos; los juicios que seformulan con tal distancia temporal suelen ser más pro-fundos y a veces bastante distintos de los inmediatos. Porende, es aconsejable la prudencia para emitir juicios an-ticipadmTlente, así como advertir a 10s actores que talesjuicios son preliminares y que podrán modificarse en elmomento de la elaboración eva1uativa que se plasmará enun informe, el que, a su vez, será sometido a crítica paraconcretar el "derecho a réplica".

La devolución de los hallazgos evaluativos

Es un paso imprescindible dentro de nuestro encua-dre del proceso evaluativo realizar la devolución de loshallazgos de la evaluación. Existen innumerables expe-riencias de evaluaciones realizadas, en las que los actoresque intervinieron de un modo u otro carecen de accesoal conocimiento de los resultados y las recomendacionesemergentes; eso sucede sobre todo en las evaluacionesexternas, las que suelen terminar en un informe escrito,generalmente muy largo y con jerga especializada, y alque muy pocos acceden -por lo general los gerentes oautoridades- y son menos aún los que verdaderamente loleen. Si bien en nuestra concepción de devolución el in-forme escrito constituye el meollo, está lejos de ser laúnica forma.

lIemos escuchado también algunas críticas acerca dela utilización de la palabra "devolución". 1~11 vez quienesformulan esas críticas tomen el significado literal del tér-mino en sus acepciones de "volver una cosa al estado que

181iil

I

ill'11

11

'

1

1

"1

O~ga Nirenberg, ]o.>etteBrawennmz, Violeta Ruiz.

tenía", "restituida a la persona que la poseía"; pero aquíse toman más en cuenta las otras dos acepciones que dael Diccionario de la Real Academia E\ptl110Ia de "volverse,dar la vuelta", "corresponder a un favor", en relación conaquellos actores que se involucraron o bien tienen inte-reses en el proceso evaluativo.

Vale entonces aclarar que al usar e] término "devolu-ción" aludimos a la diseminación, a] análisis y a] ajuste delos hallazgos y recomendaciones, juntamente con los ac-tores que se invo]ucraron, de un modo u otro, en el pro-ceso eva]uativo, sin implicar en ese uso ]ingiiístico quealguien se haya apropiado antes de algÚn saber de formaindebida.

De ningÚn modo creemos que el conocimiento de losactores de los diferentes niveles del programa o proyectosea el mismo antes y después del proceso eva]uativo; esta-mos convencidas, a partir de nuestras experiencias, de queel diseño y ]a aplicación de] modelo, las diferentes inte-racciones ocurridas y ]a elaboración de la información re-cogida por diferentes vías, permiten generar nuevo cono-cimiento acerca de la realidad circundante y del propioprograma o proyecto. Es ése e] conocimiento que se so-mete a devolución, para la crítica o discusión. Si no cre-yéramos que evaluando se genera nuevo conocimiento,mediante el cual se llegan a percibir y nombrar fenóme-nos que antes no eran visibles ni nombrables, no valdríala pena evaluar.

Sin duda alguna, el primer paso en un proceso de de-vo]ución o diseminación de los hallazgos de la evaluacióna las audiencias previamente identificadas consiste en es-cribir un informe exhaustivo, del cual poddn emerger

182

La aplimci6n del modelo evaluativo

otros subproductos, algunos de los cuales mencionare-mos luego.

El infonne de evaluación

La infonnación recogida en cada aplicación requiereser procesada y analizada, para luego escribir un informeque incluya descripciones y explicaciones que permitanfundamentar tanto los juicios valorativos referidos a cadauna de las variables y dimensiones como las recomenda-ciones que se formulen al respecto.

Como resultado de cada aplicación evaluativa se es-pera entonces un informe, que debería pautarse de an-temano. "Ell pauta podrá constituir también parte delmodelo evaluativo.

Ante todo, como en cualquier informe, se incluiráuna intToduccÚín, que dará precisiones muy sintéticasacerca del objeto de la evaluación, es decir, las principa-les características de] programa o proyecto respectivo:su población objetivo, su localización, el problema quese procura ,Hender o solucionar, las principales líneas deacción, los objetivos y los resultados esperados; para ma-yor detalle se remitirá a la lectura de los documentos delprograma o proyecto.

"Ellubién en la introducción se indicará cuál es el par-ticular período considerado y los principales focos adop-t,l(los en ese momento evaluativo.En el caso de tratarsedel informe evaluativo fina], y no relacionado con unode los cortes en especial, habd que hacer un reJato com-pleto acerca de cuál fue el proceso de la evaluación a lolargo de ]a ejecución del programa o proyecto, las dis-

18,

OIga Nirenberg, .lo.,ette Brawerman, Violeta Ruiz

tintas aplicaciones realizadas y los focos en los diversosmomentos. Se podrá aludir a los documentos concep-tuales y metodológicos del modelo evaluativo, para elcaso de las audiencias que no hayan tenido acceso. Sinembargo, será conveniente incluir como anexo una sín-t~sis ~1et~dológica y conceptual, por ejemplo, la matrizsmteslS. En el caso ya mencionado de evaluaciones efec-tuadas a] fin~li~ar o después que finalizó un programa oproyecto, el mforme incluirá sin lugar a dudas un capí-tulo metodológico relativo al diseño del modelo evalua-tivo y, por lo demás, no tendrá diferencias sustancialescon lo aquí explicado.

También en el capítulo introductorio se aclararácuál información fue tomada en cuenta para la realiza-ción de] informe: la que fue relevada especialmente pa-ra ese momento evaluativo, los infonnes evaluativos deotros niveles, los instrnmentos valorativos, la informa-ción acumulada en otros informes de otros momentose~aluativos, otros documentos o informes de visitas inSItu, etc.

P 'l'01' U timo, se mencionarán los actores participantesen la etapa de aplicación evaluativa y se aclarará cuálesserán las principales audiencias del informe.

A continuación habrá un nÚcleo central del informela parte de anrilisÚ'y síntesis evrduativa, en donde cad~capítulo coincidirá con cada dimensión del modelo'dentro de cada uno de esos apartados, los títulos coin~cidirán con los nombres de 1.1svariables; por otra par-te, ~entro de cada variable, las descripciones, las expli-caCIOnesy los análisis tomarán en cuenta los indicado-res considerados. En otras palabras: ese nÚcleo del in-forme deberá contener como mínimo las respuestas

784

La aplicación del modelo evaluativo

principales a las preguntas orientadoras formuladas enel modelo evaluativo, agregando toda otra informaciónque resulte relevante para comprender las respectivasrealidades.

En los capítulos relativos a cada una de las dimensio-nes del modelo se incluirán las descripciones y explica-ciones emergentes de las diversas fuentes informativas-las que deberán ser citadas- y la conclusión respectiva,es decir, el juicio valorativo fundamentado acerca de di-cha dimensión. Ya se advirtió en un ítem precedente, e]cuidado que habrá de ponerse en el modo de expresaresos juicios valorativos; es conveniente resaltar primera-mente las cuestiones positivas y las fortalezas para luegoadvertir sobre las debilidades, las omisiones o los errores.Son esos juicios los que darán lugar luego a la formula-ción de recomendaciones.

Seguidamente se incluirá un capítulo denominadoconclu.\"ionesy recomendaciones, donde se señalarán los prin-cipales logros alcanzados durante el período, así como lasdificultades o los obstáculos encontrados y las estrategiasdesplegadas para su superación.

Se resumirán aquí, como conclusiones, los juicios va-lorativos más relevantes, ya sefíalados de forma previapara cada una de las dimensiones analizadas, pero tam-bién se agregarán aquellas otras que emerjan del análisisvinculatorio entre las diferentes variables y dimensionesdel modelo.

Un ítem importante de este capítulo es el que corres-ponde a las recomendaciones. Cuando se trata de un in-forme relacionado con un momento intermedio de lagestión del proyecto o programa, constituirán orienta-ciones para la acción futura, así como parámetros de

78')

OlfTa Nirenberrf losette Brawernum Violeta Ruizó Ó'. ,

comparación y reflexión para el siguiente corte evaluati-vo. En el caso de tratarse del informe evaluativo final, ode un Único informe de una evaluación realizada al fina-lizar o después del final de un programa o proyecto,igualmente se consignarán recomendaciones, ya que po-drán ser de utilidad para programas o proyectos simila-res en otros contextos o momentos posterIores.

Las recomendaciones deben dirigirse a las diferentesaudiencias de la evaluación (técnicos, decisores, benefi-ciarios, financiadores, etc.) sugiriendo, en la medida delo posible, opciones o altern~ltivas para cada uno de ellos.Deber<Ín ser prácticas y factibles, evitando generalizacio-nes. Deber<Ín sugerir cómo construir sobre los logros,superar las dificultades y subsanar las limitaciones delprograma o proyecto evaluado. Aludirán a las dimensio-nes y variables incluidas en el modelo eV<lluativo, en lamedida en que se hayan resaltado en la parte previa del in-forme algunas apreciaciones críticas a su respecto. Estaadvertencia es de relevancia pues en los informes suelencolocarse recomendaciones para las cuales en el texto des-criptivo y analítico previo no se brindan fundamentos; noes lógico recomendar cambios en la acción cuando no seresaltan los problemas encontrados en la forma en que sevienen haciendo las cosas.

I-Iemos visto informes con recomendaciones formula-das en términos tan generales que no constituyen al finninguna cJase de ayuda p,lra la acción futura.

Tomemos un ejemplo esbozado anteriormente: supon-gamos que uno de los juicios valorativos emergentes de lasdescripciones y exp1icaciones alude al bajo involucramien-to en el proyecto y la escasa información al respecto de lospadres o las madres de los niÍlos bendiciarios, lo cual se

¡sr,

La aplicación del modelo evaluativo

vincula a una inadecuada estrategia de convocatoria paraque asistan a las reuniones informativas sobre el proyecto.Si se formula una recomendación tan general como:

meJ01'ar las estrategias de convocatoria e inf01~mación a lospadres "y/o las madre.I",

es prácticamente nula la sugerencia de aCClOn que sebrinda a los miembros del equipo técnico del proyectorespectivo, salvo el señalamiento de que algo anda mal ydebe mejorarse, pero nada se dice acerca de cómo hacer-lo.En cambio, si se incluyen una o las dos siguientes re-comendaciones más específicas, se orientará mejor acer-ca de cómo deberían hacerse 13sCOS3S:

incorporar actividades que contemplen los intereses y las po-sibilidades horarias de los padre.l· y/o las madres, panIau"aedos, incluidos y a la vez injiwmarlos sobre la situacióny el desempeño de .1"lIShijos en el rnltTCOdel proyecto;"elaborar material co711Zmicacional apropiado orientado a 10.1"padres y/o las rJ1mlres, tales COrJ1O:boletines Ú7:fórrnativos,(olleto.I", hojas de comunietrción, periridicos rJ1urale"I',videos,"entre otros, de modo de rnmztener un buen nivel de infor-71Ul ci (ín.

Para cerrar el capítulo de conclusiones y recomenda-ciones del informe es importante preguntarse por cad3uno de los grandes puntos que todo proyecto o progra-ma debe incluir (objetivos, población objetivo, activida-des, presupuesto, tiempo de implementación) y relacio-nados con las preguntas eV31uativas originales. Porejemplo:

187

OIga Nirenberg, ]o.rette Brawermmz, Violeta Ruiz

• De acuerdo con el problema que dio origen al diseñoy la implementación del programa, ¿qué objetivos de-berían cambiar, suprimirse o agregarse?

• En función de la población que el programa o proyec-to debería atender y la que realmente atiende (la eva-luación puede concluir que no se está llegando a lapoblación objetivo originalmente definida), ¿qué me-canismos de focalización habría que mejorar, cambiaro suprimir?

• ¿Qué nuevas actividades habría que implementar pa-ra captar dicha población o adecuarse a la poblaciónrealmente beneficiaria del proyecto?

• ¿Qué actividades son exitosas, cuáles han demostradoser superfluas e incluso perjudiciales para la consecu-ción de los objetivos y metas del programa (y en esecaso pueden ser suprimidas) y cuáles, a la luz de losresultados, convendría incluir en el futuro?

• ¿La estructura y la dinámica del programa han cola-borado o no para alcanzar los logros?

Talleres para el acuerdo con los actores

El informe preliminar de evaluaci(¡n será remitido alos actores que intervinieron durante el proceso, some-tiéndolo a su crítica y para que puedan proponer correc-ciones o agregados. Habiendo dado tiempo suficientepara la lectura y el análisis crítico del documento es con-veniente realizar talleres sobre algunas cuestiones dondepueden existir disensos, pues en ese marco es posible dis-cutir y llegar a acuerdos entre los responsables de la eva-luación y los demás actores. En un programa con locali-

188

La aplicacÚin del modelo evaluativo

zaciones diversas es conveniente realizar talleres regio-nales, agrupando según localizaciones en grupos de tra-bajo y socializando luego las discusiones y acuerdos enplenarios. En nuestra experiencia, esas dinámicas enri-quecen sobremanera los informes, pues agregan detallesy mayor exactitud a las descripciones e informacionesnuméricas, otros y mejores argumentos a las explicacio-nes y observaciones críticas. Es una de las formas para es-pecificar las recomendaciones para la acción futura y quesean realmente asumidas por los que tienen luego la res-ponsabilidad de concretadas.

En alguno de los programas donde hemos interveni-do y habiendo incorporado luego de esos talleres las ob-servaciones efectuadas en el informe, los actores de losproyectos, a través de su representante legal, firmaban suacuerdo en el documento corregido, asumiendo así suresponsabilidad sobre todo en torno a las recomendacio-nes efectuadas para la acción futura, 10 cual sería materiade futuras evaluaciones.

El resumen ejecutivo

Constituye un documento breve, de entre diez a quin-ce p<1ginas,o menos según los casos, donde se consignanlos puntos más sobresalientes del texto del informe, sobretodo remarcando logros, dificultades y recomendaciones.Est<1destinado especialmente a ciertas audiencias talescomo las autoridades políticas o el periodismo, quienesno suelen leer documentos técnicos extensos. Es conve-niente que cuente con las cifras más relevantes, así comocon grátl cos ilustra tivos.

189

0Z~ll Nirenberg, ]osette Bmwerman, Violeta Ruiz.

La difusión de los hallazgos

A partir de allí, se aplicadn las diversas estrategias co-municacionales para difundir los hallazgos evaluativossegún las audiencias específicas. Se poddn construir ga-cetillas para los medios masivos, folletos y/o CD-Romsinteractivos para las agencias de 6nanciamiento, resÚme-nes y transparencias para exposiciones y conferencias enlos medios académicos, congresos, seminarios, revistasespecializadas, entre otros.

190