metaevaluaciÓn · la metaevaluación y su método 173 estudio de casos y la crítica de arte,...

Ciencias Sociales 92-93: 171-192, 2001 (II-III)

El tema de este artículo es la metaeva-luación –entendida como la evaluación de laevaluación– de programas y proyectos socia-les. En él, se trata de esclarecer el contenidoy la definición de ese concepto, con la inten-ción de verificar su aporte a la ciencia, asícomo su significado y su contribución social.

En las secciones que siguen se comen-tan algunos trabajos y diversas nociones pro-puestas por los precursores en la disciplinade la evaluación. En ellos se verifica la esca-sez de referencias sobre metaevaluación, ladebilidad de la teoría y la carencia de mode-los desarrollados ex profeso. Una autora co-menta al respecto:

son escasas las propuestas teóricas for-muladas de manera específica para lametaevaluación. Buena muestra deello es que algunas de las metaevalua-ciones más significativas que se hanllevado a cabo hasta la fecha no sonsino aplicaciones de modelos teóricoselaborados para la realización de eva-luaciones. (García, 2000).

Por eso, una tarea importante que seacomete en este trabajo es la identificaciónde un método y de instrumentos que pro-vean aplicabilidad y pertinencia para la expli-cación de la evaluación, ya como disciplina,

LA METAEVALUACIÓN Y SU MÉTODO

Luis Fernando Díaz

RESUMEN

En este artículo se presenta un estudio resumido de la subdisciplina de la metae-valuación. En las distintas secciones del artículo se comentan diversos trabajos ynociones de metaevaluación propuestas por los precursores en la disciplina. Tam-bién se procura la identificación de un método y de instrumentos que proveanaplicabilidad y pertinencia para evaluar las evaluaciones y confirma la utilidad delas disciplinas y las técnicas para la interpretación de textos, como la hermenéuti-ca, la que termina siendo escogida.

ABSTRACT

This article presents a brief study of metaevaluation as a subdiscipline. Differentsections of the article discuss works and ideas proposed by forerunners in thefield. The article aims at identifying a method and instruments conveying applica-bility and pertinence for evaluation of evaluations. Given certain characteristics ofrelevant evaluation products, namely reports and accounts, tools and disciplinesdesigned for text interpretation, such as hermeneutics, are finally chosen.

METAEVALUACIÓN

172 Luis Fernando Díaz

ya como práctica, al mismo tiempo quemuestran independencia de ella.

1. EL ESTUDIO DE LA METAEVALUACIÓN

Entre las obras llamadas clásicas, es-critas por los autores considerados comoprincipales exponentes de las teorías de laevaluación son excepcionales los casos enque se incluyen capítulos o algún tratamien-to orgánico del tema de la metaevaluación.Existen claras excepciones, sin embargo. AMichael Scriven se le atribuye la paternidaddel nombre, así como de muchos otros tér-minos del lenguaje de la disciplina. Al res-pecto Reineke y Welch (1986) citan el artícu-lo de 1975, difundido en Western MichiganUniversity bajo el título “Evaluation bias andits control”; a este, Jiménez (1999) le atribu-ye el año 1976 como fecha de su publica-ción en el Evaluation Studies ReviewAnnual, Vol.1, preparada bajo cuidado deGlass. Sin embargo, Patricia Rogers (1997),que también lo incluye en su lista, cita otroartículo previo de Scriven, “An Introductionto meta-evaluation”, publicado en EducationalProduct Report en 1969. En la bibliografía deRogers, de un total de 67, estos dos textos deScriven son los de mayor antigüedad.

Una presentación formal del tema seencuentra en el Evaluation Thesaurus deScriven (1991). Aquí discute la posibilidad ylas implicaciones de realizar metaevaluacióntanto formativa como sumativamente, y pre-senta la idea fundamental de “la metaevalua-ción como el imperativo profesional” de ladisciplina, en el tanto que implica el recono-cimiento de que la responsabilidad ante losresultados no solo es exigible a otras activi-dades humanas, sino, primero, a la evalua-ción. Pero, a pesar del valor heurístico deesas proposiciones, no las desarrolla, y for-mula más bien, una visión bastante restringi-da del concepto. Para él, la “verdadera” me-taevaluación es una fase, usualmente termi-nal, del trabajo o proyecto de evaluación: laevaluación de la evaluación, que consiste enla aplicación de listas de comprobación paraconstruir un juicio sobre el resultado de la

evaluación original. Estas listas detallan meti-culosamente el proceso y los diversos ele-mentos de la evaluación. Scriven ha desarro-llado una de ellas, la que llama KEC (por KeyEvaluation Checklist), y de la que espera di-fusión y aplicabilidad general. Esta lista es to-davía preliminar y no cubre todo el temarioque se esperaría encontrar en el campo de lametaevaluación en la actualidad. Sin embar-go, es un modelo útil para ciertos casos yuna referencia obligada en el “estado del ar-te”. Una lista similar había sido preparada enla Western Michigan University en 1975, porDaniel Stufflebeam (“Meta-Evaluation”, mi-meo). Una versión depurada de las listas decomprobación de Scriven y de Stufflebeam espresentada por Stufflebeam y Shinkfield, ensu libro Evaluación Sistemática (1993).

El libro de Ernest House, Evaluación,Ética y Poder (Madrid, 1994), publicado ori-ginalmente en inglés en 1980, cuenta conuna sección dedicada específicamente a lametaevaluación e incluye apéndices en losque realiza ejercicios de aplicación de un en-foque que se puede calificar como cualitati-vo, basado en la percepción selectiva, porparte del metaevaluador, de las disonanciasque se presentan en la evaluación y en suinforme. El estilo y las técnicas adoptadaspor House coinciden en parte con el métodoque se presenta más adelante. En ese mismolibro House alterna el tratamiento de temasde la teoría general de la evaluación con latemática propia de la metaevaluación. Porejemplo, en su presentación de un conjuntode enfoques principales (los que a veces, sinmayor distinción, llama paradigmas, y otras,modelos básicos) parece moverse a lo largode un continuo que en uno de los extremosconcentra opciones “duras”, como el análisisde sistemas, el modelo de los objetivos y elde la decisión, que focalizan en aspectos co-mo la causalidad, la eficacia y la eficiencia,la programabilidad y la cuantificación de va-riables; mientras que en el otro extremo seubican las opciones “suaves”, centradas en lacomprensión, que “presentan descripcionescomplejas, holísticas y que implican grancantidad de variables interactivas” (p.41). Losmodelos que identifica en este extremo –el

173La metaevaluación y su método

estudio de casos y la crítica de arte, típica-mente– tienden a parecerse al enfoque cuali-tativo centrado en la hermenéutica –la disci-plina orientada a la comprensión e interpre-tación de textos– que se propone en este tra-bajo como instrumental principal de la me-taevaluación. Debe finalmente mencionarseque House identifica como determinantes dela evaluación, o lo que él llama “elementosprincipales para comprender los enfoques”, ala ética, la epistemología y la política, lo quecoincide bastante estrechamente con el argu-mento que propone esas categorías como fo-co de la hermenéutica externa y de la metae-valuación, dada la capacidad explicativa de laevaluación que se espera de ellas.

Otra obra importante y que provee unaporte significativo tanto en cuanto enfoque,como en relación con el instrumental que sedesarrolla es el libro de Schwandt y Halpern,Linking Auditing and Metaevaluation (1988).Estos autores destacan la importancia de loscriterios de rigor y la capacidad de convenci-miento de las evaluaciones. Para ellos la me-taevaluación debe satisfacer esos criterios enla doble dimensión: no sólo debe verificar suexistencia al realizar auditorías de evaluacio-nes naturalísticas, sino que deben encontrar-se también en la base de la calidad de la me-taevaluación (p.71 y sig.). En el procedi-miento que proponen Schwandt y Halpernpara el auditoraje de evaluaciones naturalísti-cas se encuentran dos modelos paralelos.Uno es un algoritmo, mediante el que se es-tablece una secuencia de fases y subfasesgenerales del proceso y la identificación co-rrespondiente de las diversas actividades quedeben desarrollar el evaluador y metaevalua-dor, tanto independientemente, como ac-tuando juntos. En esta secuencia se le otorgauna importancia significativa a las etapas depreparación y de planeación: son centralesla determinación de la auditabilidad (evalua-bilidad de la evaluación), la negociación y laformalización del contrato de metaevalua-ción y la planificación orientada a la obten-ción de verosimilitud y credibilidad. El otromodelo, que se mueve en forma paralelacon el primero, es una lista de comproba-ción o inventario de preguntas críticas para

el metaevaluador. Debe observarse en estepunto que tanto el método como el conteni-do propuesto por diversos autores empieza aconverger. Por ejemplo, se manifiesta coinci-dencia con House (1994) en la función cen-tral de la contratación y los términos de refe-rencia; con Crowther (passim) en la atenciónque requieren la conducta y los sesgos delevaluador y del metaevaluador; y con Gubay Lincoln (passim) en relación con todo elencuadre epistemológico, entre otros temas.Aunque, por otro lado, en el diseño del tra-bajo de Schwandt y Halpern no parece exis-tir la voluntad de integrar elementos episte-mológicos y metodológicos originados endistintos paradigmas; es así como mucho dellenguaje utilizado, que es propio de la co-rriente positivista, y varias de las condicionesde confiabilidad y validez, sobre las que es-tablecen numerosos controles en la lista decomprobación, parecen originarse en el cli-ma intelectual dominante en la época en queel trabajo se escribe. Lo que correspondeademás, con el propósito de utilizarlo comoun “manual” para aplicarle auditorías –o me-taevaluaciones– a las evaluaciones.

Un trabajo que se estima concluyentees un artículo muy reciente de Miguel Án-gel Santos Guerra, que se incluye en lacompilación preparada por Jiménez (1999)bajo el nombre “Metaevaluación: rigor, me-jora, ética y aprendizaje”. Este autor elabo-ra la noción de metaevaluación comparán-dola sistemáticamente con el concepto deevaluación. En esa comparación enfatiza enlas distinciones epistemológicas. Parte desu discusión sobre los conceptos básicosde la disciplina se verá en otra sección.Otro aporte importante de Santos Guerra esla organización de las preguntas relevantesde la metaevaluación en un modelo com-puesto por cinco grandes momentos de laevaluación, o contextos, como los llama él,que incluye un inventario sistemático deprácticamente todos los elementos quepueden resultar críticos para explicar lasevaluaciones. Este modelo muestra cohe-rencia y convincente riqueza lógica, por loque se prevee que pueda ser de valor ins-trumental.


Un punto de vista distinto es sosteni-do por Glass (1976). Dice este autor que larevisión de la investigación debería asumir-se en un estilo “más técnico y estadísticoque narrativo y retórico”. Para lo que pro-pone un nombre y un enfoque diferencia-do. Lo denomina “meta-análisis de la inves-tigación”. Afirma que aunque “le suena pre-tencioso” es conveniente, porque “sugiereel análisis del análisis” y lo define concreta-mente: “el análisis estadístico de los hallaz-gos de muchos análisis individuales” (1976,p. 353). Es decir, se trataría de someter losresultados de un grupo de evaluaciones alas herramientas de la estadística con elpropósito de identificar tendencias y cons-truir generalizaciones. Resalta su adverten-cia en cuanto a que, dependiendo del nú-mero de preguntas, el meta-análisis no de-be hacerse sobre un estudio único, sinosobre un número grande de ellos (1976,p. 362), aunque la función principal de laestadística en el meta-análisis es auxiliar ala percepción, revelando información quede otra forma no se hubiera accesado. Apesar de la divergencia entre ese enfoque yel nuestro, es interesante rescatar su aporte,no solo por su sentido crítico, sino por laépoca temprana en que se formula. El au-tor, Gene V. Glass, Profesor de la Universi-dad de Colorado, publicó entre 1969 y 1976no menos de cinco estudios utilizando suconcepto del meta-análisis en los camposde la sicología, la sicoterapia y la educa-ción. Esta aproximación cuenta con adeptosaún hoy, como Sánchez Meca, quien la de-nomina “su especialización” y que la definecomo “un tipo específico de metaevalua-ción… que tiene como objetivo integrarcuantitativamente los resultados de estudiosevaluativos empíricos para extraer el senti-do global o general en un ámbito concretode investigación”1.

2. EL CONCEPTO DE METAEVALUACIÓN

En esta sección se trata de explicar ycomparar distintos conceptos y definicionesde metaevaluación. Esta clarificación es con-veniente porque las diversas acepciones delconcepto podrían conducir a aplicaciones ya resultados divergentes.

Es necesario distinguir primero entreevaluación y metaevaluación. Una diferenciaimportante reside en la complejidad, deter-minada por el número y la naturaleza de lasvariables a estudiar, y la profundidad, defini-da fundamentalmente por los objetivos yconsecuentemente por la focalización delobjeto. La evaluación se ocupa de los resul-tados del proyecto. En cambio, a la metaeva-luación le interesan los resultados solo encuanto síntoma de la evaluación. Por ejem-plo, la evaluación se nutre de información ycriterios referentes a diversas actividades hu-manas. Su rol, aparte de la construcción-se-lección de modelos, se inicia con la recolec-ción de la información, constituida por datosy registros de hechos concretos. Esta funciónde investigación básica no se encuentra, sinembargo, dentro de las tareas propias de lametaevaluación.

En cuanto a esta última, en comunica-ciones y documentos, tanto institucionales yoficiales, como profesionales y académicos,relacionados con la Evaluación de Programasy Proyectos se utilizan dos acepciones delconcepto.

G La primera, que coincide con la defini-ción de Scriven que se presentó en lasección anterior, hace referencia a uncontenido práctico, operativo y de aplica-ción inmediata del concepto. Bajo estaperspectiva la metaevaluación es una faseo etapa, usualmente terminal, del trabajoo proyecto de evaluación: la evaluaciónde la evaluación. Se define como la acti-vidad o conjunto de actividades que con-sisten en la elaboración de listas de com-probación y en la aplicación directa deestas listas a un caso específico para, conbase en ellas, construir un juicio sobre laevaluación como resultado. Estas listas

1. Julio Sánchez Meca, profesor de la Universidadde Málaga a Welmer Ramos González, en unmensaje de correo electrónico del martes 15 defebrero de 2000 (4:13 am).


incluyen, a veces, criterios y escalas devalores para medir variables cuya inclu-sión responde a esos criterios.

G La segunda acepción es más comprensivay general. En este caso, por metaevaluarse entiende el dar sentido y explicar elsignificado del conjunto de actividadeshumanas que se reconocen como evalua-ción. Más allá de una clarificación termi-nológica, el propósito de la metaevalua-ción es la explicación de la evaluacióncomo un proceso social complejo. Se re-fiere al abordaje del objeto –la evalua-ción– lidiando directamente con la com-plejidad no solo como red de accionessociales sino también en sus referentes yexplicaciones de carácter axiológico,ideológico y epistemológico, fundamen-talmente.

Ambas acepciones son útiles y posi-blemente necesarias. Formalmente la segun-da es inclusiva y contiene, como una alterna-tiva temporal y de grado o alcance a la pri-mera. En su acepción más general, metaeva-luar es identificar la naturaleza de la evalua-ción misma, de manera que pueda hacerseaccesible al entendimiento, tanto especializa-do como a la práctica cotidiana. Consecuen-temente, para comprender mejor el conteni-do de la metaevaluación se requiere un co-nocimiento previo de la teoría y la prácticade la evaluación2.

La metaevaluación no es, sin embargo,una teoría alternativa de la evaluación. Lametaevaluación no solo transcurre por loshechos y datos “evaluados”, sino que tras-ciende la evaluación. Como se indicara arri-ba, las diferencias principales entre evalua-ción y metaevaluación se encuentran en losobjetivos y su focalización y en el número yla naturaleza de las variables a estudiar; esdecir, en la racionalidad y la complejidad.Frente al interés de la evaluación por los re-

sultados, la metaevaluación, una vez percibi-dos como síntoma, los deja de lado y va másallá. Mientras que la finalidad de la evalua-ción no es un análisis introspectivo o auto-rreflexivo, la “meta” de la metaevaluación esprecisamente la evaluación. La metaevalua-ción trasciende las tareas de modelización yrecolección de información, que son propiasde las fases primeras de la evaluación, paraanalizar relaciones en el proceso que revelanque esos datos y hechos son, en sí mismos,construcciones humanas y sociales, objetosde explicación. En esto es evidente el paren-tesco intelectual de la metaevaluación con lahistoria; como dice Barraclough, “al historia-dor compete contemplar los acontecimientosdesde cierta distancia, dominar un panoramamás amplio que los contemporáneos, corre-gir sus perspectivas” y atraer su atención so-bre ciertos síntomas cuyo efecto en el largoplazo podría escapárseles (1991, passim).

En resumen, la metaevaluación incluyeel análisis, la interpretación, la explicación yla sistematización científica, tanto en el pla-no teórico como en el práctico, de los ele-mentos que se enumeran a continuación.

G El proceso de la evaluación, desde el di-seño hasta la presentación, incluyendo to-das las actividades.

G Los resultados o productos de la evaluación:el documento o informe de la evaluacióntanto como el contenido de dicho documen-to y su presentación y discusión pública.

G Los evaluadores o sujetos que realizan laevaluación (Es decir su conducta en cuan-to voceros de su propio trabajo). “La me-taevaluación sobre nosotros mismos”, diceShadish, quienes debemos mostrar un ni-vel mínimo aceptable de conocimiento(teórico) como evaluadores (1998, p.7).

G Los modelos y categorías que son utiliza-dos como referencia para ejecutar la eva-luación.

G La metodología y la epistemología quenutren los modelos de evaluación.

2. Una posición similar a ésta se encuentra en Nilssony Hogben, 1983 (cit. en Worthen et al., 1997, p.440).


G La concepción del mundo y los paradig-mas científicos predominantes; es decir laideología y la filosofía en que se funda-menta el enfoque.

Esta es una clasificación convencional.Podrían incluirse otros elementos o momen-tos significativos de la evaluación como ob-jeto de la metaevaluación. O podría cons-truirse una clasificación distinta utilizandootras dimensiones. Lo que debe tenerse pre-sente es que, al adoptar este enfoque, la me-taevaluación involucra el análisis de la totali-dad de los objetos que se identifican comodeterminantes. Esto incluye los aspectosformales de la presentación, el estilo, el usodel lenguaje y los lenguajes especializados yla codificación; las actitudes y la conductadel evaluador, de sus clientes y de los eva-luandos; los determinantes de la conducta; lametodología, los métodos, las técnicas y losinstrumentos; los valores en juego, los valo-res en juicio, la conducta profesional y, engeneral, la ética. En fin, todo. Metaevalua-ción, desde esta perspectiva, comporta unaepistemología que abarca desde la estéticahasta la lógica. Evidentemente, esto sugierela posibilidad de estar pidiendo a la metae-valuación mucho más allá de lo posible den-tro de las capacidades limitadas de controlcon que se cuenta sobre el conocimiento. Yadesde este punto debe anticiparse que laprincipal limitación proviene de los mediosmismos: casi toda metaevaluación tiene quehacerse a la luz, exclusivamente, de los in-formes oficiales del proyecto; y es poco fre-cuente que en dichos documentos se en-cuentre, explícitamente, información sobrevarios de los aspectos enumerados arriba.

Un punto de vista coincidente con laposición holista, es defendido por Stufflebeamy Shinkfield (1993). Para ellos, la metaeva-luación tiene que ver con la evaluación delas evaluaciones en el sentido más global,pues implica “enjuiciar el valor y el méritode todo lo que representa y hace la profe-sión” (p.52), desde la preparación hasta laaplicación de los resultados, pasando por lainvestigación y su control. Aunque, la cons-trucción de una lista exhaustiva de todos los

elementos que aparecen como factores de-terminantes de la evaluación –i.e. objetos dela metaevaluación– parece ser una tarea casiimposible cuando no, por lo menos en algu-nos aspectos, vacía o poco pertinente. Porejemplo, un elemento muy relevante en unproyecto puede no serlo en otro. Por otro la-do, no todos los determinantes tienen el mis-mo peso según el momento de la evaluaciónen que se identifiquen y se estudien.

El enfoque restringido de la metaeva-luación se centra en los dos primeros mo-mentos: el proceso de la evaluación y los re-sultados de la evaluación. Usarlo como estra-tegia exclusiva para la comprensión de eva-luaciones conlleva riesgos importantes, por-que tiende a restringir su ámbito a un ejerci-cio técnico de control de las evaluaciones ylos evaluadores. Tiene, sin embargo, algunasventajas importantes. Se propicia la construc-ción de instrumentos estructurados y bastan-te precisos para el levantamiento de datos yla elaboración de la información. Claves den-tro de estos son las listas de comprobación(checklists) de criterios y de variables objetode la (meta)evaluación. Otra ventaja es quela sencillez y el potencial desarrollo de des-trezas en el manejo de los instrumentos, ad-miten su adopción y uso como una técnicapara la auto-evaluación.

En este trabajo, se propone una herra-mienta más elaborada, pero al mismo tiempomás dúctil, concebida con el propósito de uti-lizarla para explicar, especialmente los otrosmomentos. Se busca contribuir a la formaciónde una inclinación epistemológica –la herme-néutica como disciplina y como actitud antelos objetos del conocimiento– que tiene comocaracterísticas principales las siguientes:

G La identificación de un enfoque y de téc-nicas que, a través del texto, del informede evaluación, permitan penetrar en laideología, la concepción del mundo y laepistemología que se encuentran en labase de la metodología (los modelos ylas categorías) que ha orientado el proce-so evaluativo. Este instrumento puede fa-cilitar descripciones de los medios mate-riales que componen el informe y puede


propiciar la percepción de algunos ele-mentos previos, como el diseño y algunasestrategias del evaluador.

G Sin embargo, la conducta del evaluador seráusualmente inaccesible y la valoración éticade ella solo será posible en aquello que elinforme proporcione datos explícitos.

G El reconocimiento de que no basta con eldominio de teorías y técnicas de la evalua-ción para acometer metaevaluaciones exi-tosamente. Se exige que el trabajo de me-taevaluar se nutra de ese conocimiento,pero que reconozca también, por la víadel inventario, la existencia de una grancantidad de categorías que pueden ser crí-ticas y que no van a encontrarse nunca,por más aplicado que se muestre, bajo eldominio de quien realiza la metaevalua-ción. Esto resalta la preminencia que tieneen metaevaluación, el razonamiento sobreel contenido: el “conocimiento como dise-ño” (Perkins, 1985, pp.45-46).

G En relación con el enfoque en general, se tra-ta “de avivar la reflexión para generar com-prensión rica y relevante sobre los programasevaluados” (Santos Guerra, 1999, p.267).

No basta interrogarse sobre la calidadde los datos que se recogen en el in-forme o sobre el rigor de los métodosque se han aplicado para extraer la in-formación, sino que es preciso pre-guntarse por la naturaleza de la inicia-tiva, por la finalidad del proceso, porlas reglas éticas que lo han inspirado,por la utilización que se ha hecho dela información, por el control demo-crático de los informes... (Ibid).

G Metaevaluar es “un proceso social deaprendizaje” quizás no tan complejo nitan rico como la propia evaluación, perono menos importante. Por ello…

…se necesita algo más que un conjun-to bien estructurado o una lista de cri-

terios, se necesita que el metaevalua-dor, al menos, plantee interrogaciones,sugerencias y perspectivas que alimen-ten la comprensión misma de los eva-luadores y de la audiencia. (Angulo,citado por Santos Guerra, 1999).

En resumen, la epistemología de lametaevaluación muestra las siguientes carac-terísticas3:

G La metaevaluación consiste en la compren-sión e interpretación de la evaluación.

G Busca la comprensión rica: ética y políticade la evaluación.

G Busca trascender los resultados. Los estu-dia solo como síntoma.

G El conocimiento de los determinantes dela evaluación es limitado.

G No obstante, la metaevaluación procuraincorporar el análisis de la totalidad delos determinantes (los valores en juego;las actitudes y la conducta del evaluadory de los afectados; la metodología, la ló-gica y la estructura; la estética: los aspec-tos formales de la presentación y el estilo,y los lenguajes y la codificación).

G Metaevaluación implica y presupone re-troalimentación y aprendizaje.

3. EL MÉTODO DE LA HERMENÉUTICA

Como se ha indicado arriba, a esa as-piración epistemológica se opone una limita-ción de carácter concreto, que radica en losmedios: el que la mayoría de las metaevalua-ciones tienen que centrarse en los informesescritos del proyecto y en otros documentos

3. Con base en Santos Guerra (1999) y Díaz y Ro-sales (en preparación).


oficiales que se preparan en el proceso. Porlo tanto, el tipo de investigación que se im-pone debe ser tal que tenga relación con losmétodos y las técnicas de análisis del discur-so, interpretación del texto, o alguna pro-puesta de naturaleza similar. Al estudiar laexpansión de las corrientes actuales de losmétodos cualitativos, se confirma que unapropuesta metodológica integral se halla pre-sente en la hermenéutica.

Originalmente, en teología, la herme-néutica se refería a la interpretación de la ver-dad espiritual de La Biblia. De allí, el términose fue transformando hasta quedar incorpora-do a la filosofía social, campo en que se cono-ce como la disciplina concerniente a la investi-gación y la interpretación del discurso, las ins-tituciones y el comportamiento humanos comoesencialmente intencionales (Gadamer, 1996;Habermas, 19944, Mueller-Volmer, 1994).

En este trabajo, se entiende por her-menéutica, en forma general, la disciplinaque se ocupa del análisis, la interpretación yla comprensión de documentos en su con-texto (González Dobles, 1986). Esta es unavisión ambiciosa: trata de abarcar el texto enla amplitud total de su contexto, en relacióncon conjuntos más amplios de conocimien-tos, en la coherencia total, en la congruenciay la pertinencia de los resultados. No es solointerpretación en un sentido plano (fotográfi-co), sino multidimensional, pretende ser elarte de la comprensión del significado, la ex-plicación del sentido derivado, de todo otrosignificado, de la evaluación, o propiamente,del informe. Una hermenéutica como instru-mento para la metaevaluación es, en resu-men, una disciplina de la explicación siste-mática e integral del documento y, al mismotiempo, un conjunto de técnicas y herra-mientas para el análisis y la interpretación detextos. Desde la perspectiva adoptada, se

aplica ventajosamente a la explicación deldocumento o informe final en cuanto formaprincipal de presentación de resultados deinvestigaciones sociales y evaluaciones deprogramas y proyectos sociales.

La creciente importancia de este tipode enfoques es evidenciada por la atenciónque le dedica la Revista de Ciencias Socialesde la Universidad de Costa Rica, lo que que-da mejor expresado en las palabras de su di-rector el Dr. Daniel Camacho, en la presen-tación del Número 72 (1996):

Una de las más rigurosas, entre lasnuevas corrientes de la ciencia social,es el análisis cualitativo del discurso.Ella representa una punta de lanza enla investigación científica y se ubica enlos límites de la sociología, la filosofíay la lingüística. Se trata de una vetametodológica que aunque lleva variasdécadas de desarrollo, se encuentra enplena expansión. Ha demostrado sercapaz de captar sutilezas que por otrasvías son difíciles de aprehender. (p.5).

LAS FUNCIONES HERMENÉUTICAS

Se distinguen cuatro funciones herme-néuticas: el análisis estructural, la interpreta-ción, el comentario y la crítica. Estas funcio-nes se presentan con diversa intensidad encada uno de los campos o modalidades de lahermenéutica, lo que se hará evidente al ex-plicar cada una de estas. A continuación seexponen, sucintamente, las funciones men-cionadas.

El análisis estructural puede abarcargran cantidad de aspectos. Incluye análisisgramatical y semántico; describe y explicitael contenido; enumera las secciones y esta-blece su orden de importancia. Igualmentelo hace respecto de las referencias, las fuen-tes de autoridad; describe y valora el uso deilustraciones, tablas y ejemplos. Incluye tam-bién los aspectos formales, como las caracte-rísticas editoriales y tipográficas.

La interpretación consiste en ir más alláde los datos, profundizando en su sentido,

4. La diferencia entre las posiciones de Gadamer yHabermas respecto de las nociones fundamentalesde la hermenéutica “…devienen prácticamentedespreciables una vez que penetramos en la raízde sus argumentos” (Mueller-Volmer, 1994, p.41).


descubriendo nuevos sentidos, el sentido im-plícito, el sentido oculto, el segundo sentido.Se fundamenta en el análisis. Esta es una fun-ción central en la propuesta metodológica.

El comentario y la crítica se refieren alestablecimiento de relaciones del texto bajoestudio con otros referentes del contexto,por ejemplo, el uso eventual de los resulta-dos del informe, su impacto sobre los intere-ses de terceros y, en general, los sistemas devalores. En la función crítica se trata de en-juiciar, estableciendo jerarquías (funcionesde valor y, eventualmente, funciones de pre-ferencia) con las cuales se compara el objetobajo estudio. Como resultado se le adjudicaal objeto evaluado una posición en la escalade valores.

4. MODALIDADES DE LA HERMENÉUTICA

Se distinguen tres modalidades o nive-les en el ejercicio de la hermenéutica: inter-na, externa y profunda. Se llama hermenéuti-ca interna o textual al procedimiento de in-terpretación y comprensión del informe apartir de los datos mismos. La hermenéuticaexterna consiste en la explicación en rela-ción con el contexto más amplio de la obra,y con la historia y las circunstancias del au-tor conforme se incorporan al texto o infor-me objeto del análisis. Las categorías princi-pales son la dimensión ontológica y –asocia-das a ella– la epistemológica y la metodoló-gica. Estas encuentran especificidad tanto enel autor como en el intérprete y son a su vezinfluidas por anillos más amplios del contex-to, como las condiciones sociales y políticasy por determinantes de naturaleza ética, po-lítica e ideológica. La hermenéutica profundaconsiste en un método y un conjunto de téc-nicas para iniciar el abordaje de los textos,que se basa en la interpretación temprana ylaxa que surge de la exposición cándida delmetaevaluador a las disonancias del informe.Del descubrimiento y el contraste de estruc-turas desajustadas o irritantes, el hermeneutaorigina un patrón de solución (explicación),que formaliza recurriendo a las herramientasde la hermenéutica interna y externa.

LA HERMENÉUTICA INTERNA

En la hermenéutica interna se encuen-tran distintos campos analíticos. El primero serefiere al origen y la calidad de los datos.Luego se encuentran las formas alternativasde organización de los datos y la calidad queresulta de los procesos de razonamiento y dela forma en que el razonamiento se constitu-ye en forma verbalizada. Este es el campo dela exégesis o hermenéutica focal (GonzálezDobles, p.136). Otro campo, la hermenéuticaestructural, lidia con la relevancia, la cohe-rencia y la pertinencia de los datos y de lasformas o presentaciones organizadas deellos. Finalmente, como parte de la coheren-cia sistémica, se revisa la autocorrección dela información y el inicio de nuevos procesosheurísticos, originados en la propia dinámicainterna (retroalimentación interna).

El origen y la calidad de los datos, serefiere a la calidad y pertinencia de las fuen-tes de los datos, y la confiabilidad de los ins-trumentos utilizados para la captura. Encuanto a lo primero, es central la distinciónentre fuentes primarias y secundarias, el usode información traducida de otros idiomas y,en algunos casos, relacionándose ya con elproblema de los instrumentos, la interaccióninvestigador/fuente. Esto último es de princi-pal importancia cuando la investigación eva-luativa se sustenta, por ejemplo, en la obser-vación, la observación participante, la investi-gación-acción o los focus groups. Correspondeal hermeneuta comprobar si el investigador haprevisto las condiciones para garantizar la au-tenticidad y la competencia de las fuentes,tanto como controlado los sesgos que puedanafectar la conducta del informante.

En cuanto a la calidad intrínseca delos datos, son centrales las técnicas de clasi-ficación y agregación, las funciones de distri-bución y otras herramientas propias de la es-tadística descriptiva. Estas condiciones tam-bién se relacionan con los instrumentos utili-zados para la captura de los datos: no todoslos instrumentos tienen la misma exactitud;por ejemplo, un entrevistador puede dar unaentonación totalmente distinta a una pregun-ta de lo que otro entrevistador haría.


Todo esto implica problemas de con-fiabilidad y validez, entre otros, en cuanto ala competencia y la ética del investigador, laexactitud de la información, y en los camposde la autenticidad y la sinceridad del investi-gador y de sus fuentes.

A la hermenéutica “focal” o exégesiscorresponde la explicación o interpretacióndel texto en el sentido estricto. Se centra enel análisis del significado de las expresionesen su contexto inmediato: las formas alterna-tivas de organización de los datos, y la cali-dad que resulta de los procesos de razona-miento tanto como la forma en que el razo-namiento se constituye en forma verbalizada.Se apoya en los recursos de un número muyimportante de disciplinas que confluyen ycontribuyen activamente a enriquecerla: lalógica, la lingüística, la filología, la semiótica,la semántica, la retórica, la dialéctica y otras.El análisis crítico propio de la exégesis sefundamenta en la construcción lógica dellenguaje.

La hermenéutica focal estudia las fuen-tes de problema en cuanto al razonamientoy su influencia en la organización de los da-tos: cuando el analista o evaluador “piensade manera incorrecta”, las deficiencias en lafundamentación y en la construcción lógica,errores en el razonamiento que se refieren ala argumentación y sus bases, y, finalmente,errores lingüísticos o por imprecisión en lacomunicación, transmisión y transcripción.

La hermenéutica estructural es el cam-po que se ocupa de la relevancia, la cohe-rencia y la pertinencia de los datos y de lasformas o presentaciones organizadas deellos. Corresponde a la interpretación globaldel texto. En ella se profundiza en el estiloliterario además de estudiar los temas de ri-gor y calidad probatoria. El criterio de cohe-rencia se aplica a la relación entre los ele-mentos, conceptos e hipótesis, para determi-nar como se estructuran y se enlazan unoscon otros. El principio discriminante consisteen no encontrar contradicción entre ellos. Encuanto al criterio de relevancia, la preocupa-ción principal es el equilibrio entre las distin-tas partes del texto entre sí y en relación conel texto entero; es decir: cuál es la importan-

cia de las partes en relación con la totalidad.Sobre la pertinencia, el foco principal es lacalidad probatoria de la investigación: se hi-zo responsablemente, se recolectaron y secomprobaron todos los datos.

Un problema de coherencia de mayorenvergadura se enfrenta al comparar los re-sultados o conclusiones del informe con lapropuesta y el desarrollo de la investigación.Se espera que, de haber incongruencias, me-diante la autocorrección de la información yel inicio de nuevos procesos heurísticos, serestaure la coherencia. Esta retroalimentación–el ver el informe desde los resultados– seorigina en la propia dinámica interna; o seaque es independiente de la comparación delos resultados o conclusiones con el exterior(impacto). Cuando la hermenéutica se aplicasobre un informe “concluido” (un productofinal) la importancia de esta área es menor.Es ilusorio el efecto de la retroalimentacióncuando ya la evaluación se ha dado por ter-minada. Sin embargo, en procesos de autoe-valuación, o cuando se usan las técnicas dela investigación-acción, o el asunto se enfocadesde la perspectiva constructivista, un cam-po para el ejercicio de la retroalimentaciónes indispensable.

LA HERMENÉUTICA EXTERNA

La hermenéutica externa se refiere a lainterpretación de la obra en su contexto enel sentido más amplio: los elementos que seenumeran como determinantes y como cam-pos de la hermenéutica en el sistema son: elautor, el texto (obra o informe), el referente(el objeto de la obra y sus medios) y el intér-prete. Los elementos no se analizan por se-parado, sino que se estudian también las re-laciones entre ellos: el autor que interactúacon su obra y que adopta diversos papelesen ella; el autor y el intérprete o lector, quese modifican uno al otro. Se produce, enrealidad, una compleja trama de relaciones apartir de estos elementos y son, todas ellas,de interés para la comprensión del texto.

El concepto “lectura activa de docu-mentos”, que propone Gallardo (1994) parece


estar muy cercano a la función interpretativaque se le atribuye a la hermenéutica. Sostie-ne este autor que la lectura activa de docu-mentos considera “las condiciones de pro-ducción social e interna del documento…sus perspectivas o premisas no explicitadas,sus procedimientos de organización, sus fi-nes comunicativos o resonancia social, etc.”,y se orienta a establecer “un diálogo efecti-vo… una real asunción del discurso delotro.” (p.76). Eso implica…

que nos interesamos, no solo por eldocumento... sino que además intenta-mos discernir en él sus condiciones bá-sicas de producción: los criterios operspectivas desde los que un libro fueescrito, por ejemplo, sus fines comuni-cativos, ...los procedimientos mediantelos cuáles se obtuvo la información ose construyeron sus categorías. (Ibid).

Además, el modelo se completa alconsiderar “las circunstancias”, la historici-dad. No se trata solo del ambiente social ycultural inmediato en que la obra es produ-cida. Es una nueva red de determinantesdel informe, que agrega como una especiede tercera dimensión a la matriz que surgede la trama descrita arriba. Cuatro aspectoso determinantes destacan para el caso delos informes de evaluación. Dos de ellos: ladimensión ontológica (incluidas las deriva-ciones epistemológicas y metodológicas) yla dimensión ética, son pivotales. Se hacomprobado que en ellos se encuentran laexplicación principal de los resultados dela evaluación. Las otras dos, el contexto detarea de la evaluación –el campo propiodel proyecto bajo estudio– y el contextoorganizacional –estructura y cultura de laorganización anfitriona del proyecto–, pro-veen el telón de fondo para las dos ante-riores. Estas dos últimas, además aportan elconocimiento que, estructurado como es-quemas en la memoria, opera en la base dela hermenéutica profunda. Otros autores(González Dobles, 1986) enumeran los ám-bitos histórico, ideológico, epistemológicoy metodológico como las cuatro subdivisio-

nes importantes del ambiente o “circuns-tancias”. Lo cierto es que el circuito de re-laciones a que conduce esta presentacióndel contexto es compleja y exige destreza ydedicación para la exitosa tarea de la inter-pretación.

De la intricada red de determinantesdel informe de evaluación, destaca la impor-tancia de la dimensión epistemológica y ladimensión ética. Podrían proponerse esque-mas alternativos de clasificación de los nu-merosos condicionantes; pero esta represen-tación simplificada del contexto o, expresa-do de otro modo, la hermenéutica externaenfocada en estos determinantes, reconoceque el problema principal de la evaluaciónes la credibilidad. Específicamente, si la fina-lidad de la evaluación es la de contribuir alproceso de toma de decisiones, el cometidoprincipal del evaluador debe ser garantizar lacredibilidad de sus resultados; lo que obede-ce a las mismas condiciones contextuales se-ñaladas. Es decir, que el informe de evalua-ción es creíble y encuentra eco en la organi-zación en el tanto en que sus procedimien-tos para la obtención del conocimiento, tan-to como los hallazgos resultantes, puedan re-conocerse como legítimos, verosímiles y ho-nestamente buscados, al mismo tiempo queconsecuentes y respetuosos, aunque no su-bordinados, de la cultura del proyecto y dela organización anfitriona.

LA HERMENÉUTICA PROFUNDA

Aunque ahora el método de la Herme-néutica Profunda se identifica como una teoríapsicoanalítica de la investigación social, Loren-zer la concibió originalmente “como un méto-do para la interpretación de textos literarios”(Sanabria, 1997a, p. 9). Es precisamente poresa estrecha afinidad con el objeto en el ori-gen que su aplicación heurística al estudio deinformes de investigación y evaluaciones essugerente. Con este método no se pretendeinterpretar el texto y al lector por separado, si-no a la relación que se establece entre uno yotro. Se trata de determinar cómo es que seconstruye la comunicación. “La pregunta clave…


es cómo investigar el tipo de interacción quese establece entre texto y lector...” (Ibid).

Los conceptos centrales de la teoría deLorenzer son la comprensión escénica, la irri-tación, la resonancia subjetiva y la atenciónlibremente flotante del analista. La atenciónlibremente flotante es una especie de estadode apertura del analista a la percepción dedisonancias, las que lo impactan producien-do irritaciones. El analista “incorpora su pro-pia subjetividad al proceso investigativo”, sedeja llevar por el texto, descubriendo en éluna especie de zonas o estructuras (de signi-ficado o simbólicas) que percibe –inconscien-temente– desajustadas o provocadoras.

(Estas) son las disonancias o disarmoníasque el investigador –en cuanto sujeto eninteracción– descubre en sí mismo tantocomo en los otros o en el material queestudia. Se tornan perceptibles a partir dela propia subjetividad, emanando de laresonancia afectiva que provocan en elinvestigador... (1997a).

Al dejarse llevar por la trama, el analis-ta va enfrentando “resonancia subjetiva” quele permite percibir el sentido oculto detrásdel “velo lingüístico” e ir descifrando “sucontenido latente”. A partir de la resonanciasubjetiva, el analista enfrenta el texto (infor-me) y lo lee de conformidad con su identi-dad cultural, la que resulta de “la historia desu socialización”5, que ahora se manifiestamediante determinados contenidos que “fue-ron convertidos y se mantienen inconscien-tes” (Sanabria, 1996, 1997a).

5. PROCEDIMIENTO PARA LA METAEVALUACIÓN

En las secciones anteriores se ha co-mentado de forma global el conocimiento

acumulado en la disciplina de la evaluacióny en otras disciplinas afines, como la investi-gación social y la interpretación de textos,con el propósito de comprender y sistemati-zar el conocimiento sobre la metaevaluaciónen general. Se ha procurado entender cómose configura en la actualidad un escenariometodológico que permita discriminar enfo-ques y técnicas pertinentes y efectivas parala metaevaluación. Concretamente, se ha tra-tado de identificar un modelo que pueda in-tegrar los enfoques y dotar de sentido a losdeterminantes de la evaluación y del informede la evaluación. Poco a poco se ha venidorealizando el propósito de contar con unaforma satisfactoria y relativamente establedel modelo en el corto plazo, y las basesprincipales, como se confirma a continua-ción están ya establecidas. Aunque, bajo laperspectiva hermenéutica, es propio que elmodelo y el procedimiento no lleguen nuncaa estar acabados.

La epistemología (el método, el en-foque y otros aspectos epistemológicos) yla ética de la evaluación (incluyendo la éti-ca y la conducta del evaluador) son losfundamentos del rigor y, como consecuen-cia, de la credibilidad. En la base de la pro-puesta metodológica –que se dibuja comoun banco de tres patas– estos dos determi-nantes tienen una potencia explicativa indis-pensable y casi suficiente para acabar la me-taevaluación. La tercera pata del banco cum-ple una función de equilibrio y balance; setrata en este caso, de la estética del informe,campo en que se valora la importancia deltexto como medio para la interpretación, yen que se profundiza en la relación entre ló-gica y lenguaje. Esas categorías de la herme-néutica externa encuentran un lugar de privi-legio en la secuencia que se sigue en la me-taevaluación; mientras tanto, el anillo másexterno de este contexto cercano, compues-to por las categorías que explican el medioorganizacional del objeto evaluado y el con-texto de tarea de las evaluaciones objeto,apenas se muestra como un telón de fondo.Se reconoce y se valora la existencia de esteambiente específico, pero se encuentra queno existe ninguna relación crítica con los

5. Freire (1998) reitera: “Estudiar seriamente untexto es estudiar el estudio de quien estudiandolo escribió… Es percibir el condicionamientohistórico-sociológico del conocimiento.” (p.49).


resultados. Salvo, por supuesto, que el eva-luador evidencie desconocer su contexto detarea y los modelos y criterios dominantesen su disciplina concreta. La diferencia con-siste en que el evaluador de programas “de-be saber” sobre programas en su campo; elmetaevaluador, entretanto, “debe saber” deevaluación (i.e. ética y epistemología).

Hasta aquí, lo más relevante es que elprocedimiento aparece como una síntesis detodas las propuestas. Pero no es una síntesisen el sentido totalizante y exhaustivo, sinomás bien una en la que la importancia radicaen las redes, en las conexiones. Es una re-construcción libre y laxa; es más un esque-ma, un esbozo o un bosquejo, que un com-pendio o un prontuario. Es, en este sentido,el campo propio de la hermenéutica profun-da. Pero demanda también una aproxima-ción que ofrezca ventajas como esqueleto,guión o armazón, o sea, el papel que corres-ponde a la hermenéutica interna como mo-delo general de organización del pensamien-to. Los aportes que se comentan en la sec-ción siguiente presentan, como se verá, estetipo de características.

REVISIÓN DEL ESTADO DEL ARTE

El artículo de Santos Guerra (1999)que se ha mencionado con anterioridad,plantea en realidad una revisión del estadoactual del conocimiento en el campo. Existeen ese trabajo una diferencia cualitativa im-portante que lo aleja de todos los otros apor-tes discutidos. Al compararlo, por ejemplo,con la obra de Shadish, Cook y Leviton(1991), contribuye a establecer con claridadla distancia entre el enfoque de la metaeva-luación y el de la teoría de la evaluación.Aunque la temática que se aborda es la mis-ma, la estructura de la presentación es dife-rente y los aspectos que se distinguen comorelevantes sugieren matices nuevos y distin-tos. Pero lo más importante es la caracteriza-ción del metaevaluador como inmerso en unambiente abierto de aprendizaje, formulandopreguntas, aparentemente abiertas y pocoestructuradas, aunque siguiendo en realidad

una rica intuición, especie de corazonadainformada. Otro trabajo importante, la audi-toría de una evaluación naturalística deSchwandt y Halpern (1988), se encuentradistante precisamente en este punto. Estosautores, a pesar de pretender cierta afinidadcon el paradigma naturalista, no pueden, porcondiciones que se originan en su contextocultural y temporal, eludir el uso de una se-rie de algoritmos, y tienden a recaer en laspreguntas típicas de la verificación funda-mentada en técnicas “duras”. En cambio,Santos Guerra, a pesar de que sigue una se-cuencia temporal que da orden a la evalua-ción como un procedimiento (los “momen-tos” o “contextos”), no se sujeta a un patrónrígido y excluyente. El instrumento de la me-taevaluación que propone es fundamental-mente interpretativo, flexible, adaptativo,con una clara afinidad con el método de lahermenéutica presentado arriba.

Santos Guerra enumera seis momentoso “contextos básicos de exploración” comolos llama él. En cada uno de ellos la proble-mática de la evaluación es distinta y el matizde la metaevaluación necesariamente cam-bia. Para cada uno de esos momentos el au-tor ha elaborado una lista de comprobacióno guía de preguntas para el metaevaluador;el conjunto aporta una visión global y com-prensiva del itinerario que puede seguir elmetaevaluador al revisar una evaluación. Dela propuesta de Santos Guerra se presenta acontinuación un resumen que puede contri-buir al trabajo de la hermenéutica dotándolade organización. Véase en página siguienteuna representación gráfica del modelo.

Los momentos de la evaluación queenumera el autor son: constitución, justifica-ción, presentación, negociación, valoración ydifusión. En el contexto de constitución setrata del origen de la evaluación, de quiéntiene la iniciativa, del papel asignado a losprotagonistas y de la forma en que han parti-cipado en la negociación de los términos.“Hay que saber si se ha negociado lo insus-tancial dejando lo fundamental como incues-tionable” (Santos Guerra, p.268). El de la jus-tificación es un momento metodológico: setrata de cómo se hace la evaluación, cómo


DIAGRAMA

LOS MOMENTOS DE LA METAEVALUACIÓN(Basado en Santos Guerra, 1999)

1. Génesis de la evaluación

2. Iniciativa G Impuesta desde la jerarquía

G Generada por los

protagonistas

3. Proceso de negociación

1. Estrategias, métodos y

procedimientos

2. Tratamiento de los datos

3. Rigor G argumentación utilizada,

G selección y aplicación

de los métodos,

G triangulación

1. Contenido y forma de los informes

2. Adecuación a diversas audiencias

3. La estructura lógica, la coherencia interna,

la extensión, la claridad expositiva, etc.

Carácter democrático

Entrega rápida y no jerarquizada

Motivaciones, intenciones, actitudes, presiones

Derecho de los afectados a la información

Derecho de los profesionales a la discreción

Riesgos: demora excesiva, adulteración

de los informes, maquillaje

CONSTITUCIÓN

JUSTIFICACIÓN

PRESENTACIÓN

NEGOCIACIÓN

VALORACIÓN

DIFUSIÓN

se trata la información, qué se entiende y có-mo se procura el rigor.

Se hace énfasis en el uso de la trian-gulación como recurso de validez. En rela-ción con la presentación, se estudia el in-forme de la evaluación, su estructura lógica,incluyendo la coherencia interna, la exten-sión, y la claridad expositiva; también seanaliza el contenido, la forma y la adecua-ción a sus audiencias. Este contexto apare-ce estrechamente relacionado con el méto-do de la hermenéutica interna –focal y es-tructural–; la comprensión, como diálogoentre el evaluador y el lector, es el determi-nante de la presentación de la información.En el momento de la negociación, la aten-ción se centra en la forma en que se entre-ga el informe de la evaluación; se valora,concretamente si la entrega es rápida, direc-ta, democrática y no jerarquizada. En elcontexto de valoración se estudia parcial-mente la ética de la evaluación y algunosefectos de la conducta de los participantes;se incluye la búsqueda de motivaciones, in-tenciones y actitudes de los participantes,así como presiones de otros sobre la con-ducta. Un objeto central de atención debenser aquellos cuyo interés radica en haberpatrocinado con recursos monetarios, ya elproyecto, ya la evaluación. Finalmente, elmomento de la difusión se centra en la for-ma en que se distribuyen la información ylos resultados. Se valora si se garantiza elderecho de los afectados a conocer la infor-mación, al mismo tiempo que se protege laintegridad y el derecho de los informantes yotros participantes (el evaluador, concreta-mente) a la discreción. Se verifica la exis-tencia de algunos “vicios”, como la demoraexcesiva y la adulteración y el maquillaje delos informes. Los distintos autores, unoscon más detalle que otros, se preocupanpor la organización y el contenido del in-forme de la evaluación, por la negociaciónde sus términos, y por las condiciones parasu difusión. El trabajo de Santos Guerraconstituye un ejemplo explícito de la formaen que puede seguirse, sistemáticamente, lavaloración del papel del informe y su im-portancia para la metaevaluación.

La integralidad que se encuentra en lapropuesta de Santos Guerra facilita el utili-zarla como un procedimiento alternativo. Sinembargo, no es este el caso de la propuestade House, que abarcando categorías univer-sales, holistas e inclusivas, se restringe en suaplicación a situaciones más específicas, loque se verá de inmediato.

Como se ha comentado con anteriori-dad, el libro Evaluación, Ética y Poder, de Er-nest R. House (1980), es en definitiva, unaobra sobre metaevaluación, aunque se hayaidentificado preferentemente por su aporte ala teoría general de la evaluación. Algunos delos aspectos relevantes de ella se han comen-tado antes, especialmente en cuanto tiene quever con la clasificación de enfoques. Sin em-bargo, al momento de precisar un procedi-miento para la metaevaluación, su aporte a és-ta se evidencia con mayor claridad. La temáti-ca es coincidente con el acercamiento generaladoptado en este artículo y, para verificarlo,basta con repasar el inventario de las catego-rías que son centrales en su explicación:

G Veracidad, belleza y justicia, como los cri-terios fundamentales de la evaluación.Discusión sobre la lógica del argumentodel evaluador.

G Plantea el problema de la credibilidad yel de la persuasión. Ofrece su apreciaciónsobre la naturaleza del discurso (el infor-me) y cómo debe considerarse la audien-cia (los destinatarios).

G Importancia de la trama y la forma, o seala estética, en la base de la coherencia y,en suma de la credibilidad.

G El problema de la equidad. El impacto so-cial de la evaluación. Los intereses y ladistribución. El interés público en la eva-luación.

G Poder y decisión. Autoridad, poder y fun-damento moral de la evaluación.

G Objetividad y metaevaluación. Relaciónentre objetividad, equidad y justicia.



Pero, en función de este trabajo, elaporte más interesante de House se encuen-tra cuando, con el instrumental que sugiere,aborda él mismo, una evaluación de unaevaluación. Lo primero que se comprueba alleerlo es que se trata de “la evaluación deuna evaluación de una evaluación”, aspectoque le agrega interés, aunque metodológica-mente no quepa esa diferenciación (Scriven,1994). El objeto de análisis es la (meta)eva-luación que hace Glass de la evaluación deunas cintas magnetofónicas que hiciera Scri-ven. La metaevaluación que realiza House esparcial: se concentra en el informe de Glassy en la reacción posterior de Scriven. Su aná-lisis focaliza en la estructura argumentativa.Le interesa distinguir el razonamiento per-suasivo que utilizan ambos evaluadores, paralo que su modelo debe consistir en un con-junto de categorías de análisis –formas de ra-zonamiento o “lógicas”– comparables (Hou-se, 1980, p.239).

Usando otro lenguaje, puede decirseque House realiza ejercicios de aplicaciónde un enfoque cualitativo basado en la per-cepción selectiva, por parte del metaeva-luador, de las disonancias que se presentanen la evaluación y en su informe. El estiloy las técnicas adoptadas por House para laidentificación de las categorías determinan-tes y las tácticas metaevaluativas coincidenen gran medida con el enfoque que se dis-cute en este artículo. A manera ilustrativapueden revisarse algunas de las categoríasaplicables a la explicación del razonamien-to evaluativo que House formula y utiliza.Por ejemplo, busca en el texto relacionesde “contradicción e incompatibilidad”, de“identidad”, de “reciprocidad”, de “transiti-vidad”. Todas esas se relacionan directa-mente con el ejercicio sistemático de lahermenéutica focal. Otras, como “la divi-sión de la totalidad en partes”, la “agrupa-ción de elementos”, la “comparación”, laproximidad y la “causalidad”, muestrangran similitud con las técnicas cualitativaspara el manejo de los datos (Miles y Hu-berman, 1984). Muy útiles y de especial in-terés para entender la evaluación de la eva-

luación (como hace House respecto deGlass) o, como técnicas propias del proce-dimiento para metaevaluar, son las que élllama del tercer tipo, las que “establecen laestructura de la realidad”, como la “ilustra-ción”, la “analogía” y la “metáfora”.

COMENTARIO FINAL

Los instrumentos que se proponeusar en la hermenéutica son relativamentesencillos. Una primera idea consiste en uti-lizar de forma selectiva el conjunto de listasde comprobación que derivan de los mo-delos parciales y de las categorías principa-les que se han comentado. Los procedi-mientos son una ayuda fundamental paraordenar el pensamiento; aunque la metae-valuación no recurre simultáneamente a to-dos los elementos que podrían incorporar-se en ellos. Corresponde a la disciplina detrabajo individual del metaevaluador el sa-ber que están allí y que se puede acudir aellos. El metaevaluador que se acerca a suobjeto con la voluntad de realizar una lec-tura crítica pero libre, como la que sugierela hermenéutica profunda de Lorenzer, oreproducir el valor de la interpretación co-mo lo proponen Gadamer o Stufflebeam,puede elaborar su propia lista, reduciéndo-la, con base en el conocimiento del con-junto de las alternativas enumeradas, a loscontenidos cuyo significado haga relevanteel mismo texto del informe. En un segundonivel, partiendo de esas listas así como dela experiencia, el metaevaluador puedeconstruir un modelo para la comprobacióntotalmente alternativo.

En segundo lugar, dentro de una meto-dología naturalista y dinámica como la que seha seleccionado, el modelo es recurrentemen-te objeto de ajustes. Esta es además una con-dición operativa: para que el modelo sea fun-cional, el uso de las categorías requiere priori-zarse. No debe pretenderse toda la explica-ción, sino la explicación crítica y relevante. Elsentido de orientación consiste en buscar lacredibilidad, para lo que basta con condicio-


menéutica y de las categorías determinantesprincipales. Esta idea de un recorrido recu-rrente se trata de representarla en losesquemas sobre los procedimientos.

Finalmente, este proceso cíclico de laretroalimentación es también propio de la me-taevaluación como fase inescapable de todaevaluación. Por eso, cabe una reflexión sobreel papel integrador y global que correspondea la metaevaluación en la disciplina (Stuffle-beam y Shinkfield, 1993). Desde un punto devista lógico, la metaevaluación es el cierre dela evaluación como actividad finalista. La eva-luación sin metaevaluación es parcial, deficita-ria e inconclusa. Este es un efecto del impera-tivo profesional sugerido por Scriven (1994).La metaevaluación es necesaria tanto lógica yprocedimentalmente, como socialmente.(Véase esquema en la página siguiente).

nes de control que garanticen suficiencia yadecuación, honestidad y verosimilitud, y, porsupuesto, economía y oportunidad.

Por otro lado, al aplicar el procedi-miento sobre las evaluaciones, deberán revi-sarse su pertinencia, su viabilidad, el gradode confianza que provee y otras condicionesque deberían indicarse y modelizarse, a suvez, eventualmente. Esa retroalimentación esun requisito funcional de la metaevaluación.La metaevaluación basada en la hermenéuti-ca consiste en repetir sistemática y cíclica-mente, a lo largo de todo el proceso, el ejer-cicio representado por las cuatro funciones:análisis estructural, interpretación, comenta-rio y crítica. Cabe imaginar una especie dematriz en la que estos cuatro elementos semueven en una espiral “visitando” los “domi-nios” de las diversas modalidades de la her-


ESQUEMA

RESUMEN DEL PROCEDIMIENTO DE LA METAEVALUACIÓN

1 EL ABORDAJE GENERAL

CONTENIDO

Interpretación global

ASPECTOS CRÍTICOS

Evaluabilidad

Importancia. Pertinencia

Autoridad de la evaluación

MÉTODO

Hermenéutica externa (provee el telón de fondo)

- El contexto general: el contexto organizacional

Hermenéutica profunda (Lorenzer, en Sanabria, passim)

La comprensión escénica, la irritación, y la resonancia subjetiva

La atención libremente flotante del analista. Percepción de disonancias

Producción de irritaciones

Estructuras de significado o simbólicas desajustadas o provocadoras

El sentido oculto del texto. Su contenido latente

2. LA INTERPRETACIÓN Y LA COMPRENSIÓN

CONTENIDO

Dotar de sentido al informe

Los aspectos implícitos, la significación profunda

ASPECTOS CRÍTICOS

Ética: trata de lo que tiene que tratar;

¿es honesto y responsable socialmente?

Epistemología. ¿Es riguroso?

Debe verificarse la presencia de sesgos

MÉTODO

Hermenéutica estructural y hermenéutica externa

El estilo y la estructura

Coherencia: como se estructuran y se enlazan los datos y las categorías

Equilibrio entre las partes del texto. Relación partes y totalidad

Pertinencia, relevancia y calidad probatoria

3. LA CALIDAD DE LOS DATOS, LA INFORMACIÓN Y EL INFORME

CONTENIDO

Determinar la validez y la credibilidad

ASPECTOS CRÍTICOS

Honestidad e imparcialidad de las fuentes. Triangulación

MÉTODO

Hermenéutica Interna (hermenéutica focal)

Continúa...


Sobre los datos:

El origen y la calidad de los datos

Fuentes primarias y secundarias

La calidad y pertinencia de las fuentes

Autenticidad y la competencia

La interacción investigador/fuente

Sesgos y conducta de los informantes

La confiabilidad y exactitud de los instrumentos

Técnicas estadísticas

Formas alternativas de organización de los datos

Los procesos de razonamiento y su verbalización

Sobre el informe:

El análisis del significado de las expresiones

La construcción lógica del lenguaje

Los errores del razonamiento. Deficiencias en la argumentación

Deficiencias en la fundamentación y en la construcción lógica

Imprecisión. Errores lingüísticos (i.e. ambigüedad, polisemia)

Engaño potencial, mala fe o deshonestidad

Defectos de la transcripción

4. CRÍTICA

CONTENIDO

Enjuiciamiento teórico y pragmático (González Dobles, 1986).

ASPECTOS CRÍTICOS

Comparación de marcos de valores

Equidad

La calidad de la evaluación

La responsabilidad profesional del evaluador

MÉTODO

Hermenéutica Externa

Lógica formal y lógicas alternativas (House, 1980)

5. COMENTARIO Y CONCLUSIONES

CONTENIDO

Resumen general de los logros y los defectos. Balance

ASPECTOS CRÍTICOS

Utilidad y aplicaciones. Valor social

MÉTODO

Estilística

Continuación...


REFERENCIAS BIBLIOGRÁFICAS

Alkin, Marvin C. (Ed.), Debates onEvaluation, Newbury Park: Sage, 1990.

Barraclough, G. Introducción a la HistoriaContemporánea, Madrid: Gredos,1991.

Carretero, Antonio J. “Algunas categoríaspara una teoría general de laevaluación”, mimeo, agosto de 1995.

Crowther, Warren y Díaz, Luis Fernando.Empresas Públicas, mito y realidad,San José: ICAP, 1990.

D’Alton, Cristina. El Análisis del Discurso ylos Materiales Didácticos, San José:Universidad Estatal a Distancia, 1994.

Díaz, Luis Fernando. “Objeto, Método yEstatus Intelectual de la AdministraciónPública”, (Trabajo final de graduación,Maestría en Administración Pública,Centro de Investigación y DocenciaEconómicas, México, 1980). Universidadde Costa Rica, mimeo, 1983.

Freire, Paulo. La importancia de Leer y elProceso de Liberación, (12a. ed.)México, Siglo XXI, 1998.

Gadamer, Hans-Georg. Verdad y Método I,Fundamentos de una HermenéuticaFilosófica, 6a. ed. Salamanca: Sígueme,1996.

Gallardo, Helio. Elementos de InvestigaciónAcadémica, San José: UNED, 1994.

García Sánchez. Ester. Universidad Carlos III deMadrid, “Metaevaluación” en Reyes,Román (Director), Diccionario Crítico deCiencias Sociales, UniversidadComplutense de Madrid, http://www.ucm.es/ info/eurotheo/ d-egsanchez1.htm, 14 de agosto de2000. (4:30 pm).

Glass, Gene V. “Primary, secondary andMeta-Analysis of Research”, enEducational Researcher 5, 3-8 (1976),citado en Glass,1976 y en Isaac yMichael, (1995).

González Casanova, Pablo. Las categorías deldesarrollo económico y la investigaciónen ciencias sociales, México: Institutode Investigaciones Sociales, UNAM, 1967

González Dobles, Jaime. El ProcesoInvestigativo, San José: Alma Máter,1986.

Guba, Egon G. e Yvonna S. Lincoln. FourthGeneration Evaluation, Newbury Park:Sage, 1989.

Habermas, Jürgen. “On hermeneutics claim touniversality”, en Mueller-Vollmer, Kurt(ed), The Hermeneutics Reader (1994).

House, Ernest R. (Ed), “Philosophy ofEvaluation”, en New Directions forProgram Evaluation, San Francisco:Jossey Bass, No 19, September, 1983.

. Evaluación, Ética y Poder, Madrid:Morata, 1993, (Original en inglés:1980).

. Professional Evaluation, SocialImpact and Political Consequences,Newbury Park: Sage Publications, 1993.

. “The Logic of EvaluativeJudgment”, University of Colorado,mimeo, July 11, 1996.

Isaac, Stephen y Michael, William B.Handbook in Research and Evaluation(3rd ed.), San Diego: EDITS/Educational and Industrial TestingServices, 1997.

Jiménez Jiménez, Bonifacio (editor).Evaluación de Programas, Centros yProfesores, Madrid: Síntesis, 1999.


Joint (The) Committee on Standards forEducational Evaluation (James R.Sanders, Chair). The Program EvaluationStandards. 2nd. Edition, How to assessEvaluations of Educational Programs,Thousand Oaks: Sage, 1994.

Lorenzer, Alfred “Seducción al abandono desí mismo-interpretación psicoanalíticadesde la Hermenéutica Profunda deun poema de Rudolf AlexanderSchröeder”, en Sanabria León, Jorge,Actualidades en Psicología, 13:93, SanJosé, 1997b.

Miles, Matthew B. y Huberman, A. Michael.Qualitative Data Analysis, ASourcebook of New Methods, BeverlyHills, CA: Sage, 1984.

Mueller-Vollmer, Kurt (ed.), TheHermeneutics Reader, New York: TheContinuum Publishing Co., 1994.

National Academy of Sciences (USA),Responsible Science: ensuring theintegrity of the research process/ Panelon Scientific responsability and theConduct of research…, Washington:National Academy Press, 1993.

Newman, Dianna L. y Brown, Robert D.Applied Ethics for Program Evaluation,Thousand Oaks: Sage, 1996.

Nilsson, N. y Hogben, D. “Metaevaluation”en House (Ed.) Philosophy ofEvaluation. New Directions forProgram Evaluation (19, 83-97), SanFrancisco: Jossey-Bass, 1983.

Perkins, David N. Conocimiento comoDiseño, Bogotá: Pontificia UniversidadJaveriana, 1985.

Pinto, María y Gálvez, Carmen. AnálisisDocumental de Contenido, Madrid:Síntesis, 1996.

Rawls, John. “The Main Idea of the Theoryof Justice”, en Singer (1994).

Reineke, Robert A. y Welch, Wayne W.“Client-centered Meta-evaluation”, enEvaluation Practice (1986), fc., sf.

Rodríguez, Emma y Lager, Elisabeth (comp.).La Lectura, Santiago de Cali:Universidad del Valle, 1997.

Rogers, Patricia. “Metaevaluationbibliography (compiled by PatriciaRogers) Program for Public SectorEvaluation”, Royal Melbourne Instituteof Technology. Página web (17 denoviembre de 1997) www.parnet.org/arlist/meta-eval_bib.txt.

Rohr, Elizabeth. “Fascinación y miedo”, enSanabria León, Jorge, Actualidades enPsicología, 11:87, San José, 1995.

. “La masculinidad robada.Fundamentalismo y masculinidad enLatinoamérica”, en Sanabria León,Jorge, Actualidades en Psicología,13:93, San José, 1997b.

Rumelhart, David E. “Hacia una comprensiónde la comprensión” (1984), enRodríguez y Lager, 1997.

Sanabria León, Jorge. “Hacia una aplicacióndel método psicoanalítico a lainvestigación social”, Actualidades enPsicología, 12:90, San José: Instituto deInvestigaciones Psicológicas,Universidad de Costa Rica, 1996.

. “El Texto en Escena: Lahermenéutica profunda como estudiopsicoanalítico de los procesos desocialización”. Actualidades enPsicología, 13:91, San José: Instituto deInvestigaciones Psicológicas, Universi-dad de Costa Rica, 1997 (a).


. (Traductor / compilador), “Her-menéutica profunda y Etnoher-méneutica, Ensayos sobre masculinidady dilemas de modernidad”. Actualidadesen Psicología, 13:93, San José: Institutode Investigaciones Psicológicas,Universidad de Costa Rica, 1997 (b).

. (Traductor / compilador), “Etno-psicoanálisis y Hermenéutica Profundaen la Investigación Social”. Actualidadesen Psicología, 11:87, San José: Institutode Investigaciones Psicológicas,Universidad de Costa Rica, 1995.

Sanders, James R. “Metaevaluation of TheEffectiveness of Comprehensive, CaseManagement Interventions: EvidenceFrom the National Evaluation of theComprehensive Child DevelopmentProgram”, en The American Journal ofEvaluation, V.20, No.3 (Fall 1999),Stamford CT: JAI Press.

Santos Guerra, Miguel Angel. “Meta-evaluación: rigor, mejora, ética yaprendizaje”, en Jiménez Jiménez,Madrid: Síntesis, 1999.

Schwandt, Thomas A. y Halpern, Edward S.,Linking Auditing and Metaevaluation,Enhancing Quality in AppliedResearch, Newbury Park, Ca.: Sage,1988.

Scriven, Michael, “The Logic of Evaluationand Evaluation Practice”, en NewDirections in Evaluations 68, SanFrancisco: Jossey Bass, Winter, 1995.

. Evaluation Thesaurus, Fourth ed.,Newbury Park: Sage, 1991.

Shadish Jr., William R. et al., Foundations ofProgram Evaluation, Theories ofPractice, Newbury Park, CA: Sage, 1991.

Shadish William R., “Evaluation Theory isWho We Are”, en The AmericanJournal of Evaluation, V.19, No.1(Winter 1998), Stamford CT: JAI Press.

Singer, Peter (Ed.), Ethics, Oxford: OxfordUniversity Press, 1994.

Stufflebeam, Daniel L. y Shinkfield, Anthony J.,Evaluación Sistemática, Guía teórica ypráctica, Barcelona: Paidós, 1993.

Weiss, Carol H. Investigación Evaluativa,Métodos para determinar la eficienciade los programas de acción, México:Editorial Trillas, 1975.

Worthen, Blaine R. Sanders, James R. yFitzpatrick, Jody L., ProgramEvaluation: Alternative Approachesand Practical Guidelines, 2nd ed.,White Plains NY: Longman, 1997.

Luis Fernando DíazApdo. 45-2150 Moravia, Costa Rica

Fax (506) [email protected]

metaevaluaciÓn · la metaevaluación y su método 173 estudio de casos y la crítica de arte,...

Documents