2

LA EVALUACION

3

1. PRESENTACIÓN

El tema expuesto a posteriori trata de la evaluación, que abarca diferentes apartados

necesarios para el entendimiento y conocimiento de la materia. En primer lugar realizamos una breve definición sobre el término de evaluación,

para partir desde lo más básico. Una vez concretado el concepto, hemos considerado pertinente para el desarrollo exponer la metodología. Este aspecto del trabajo es verdaderamente importante, ya que da los pasos a seguir por un profesional para llevar a cabo la evaluación. Nos hemos encontrado bibliografía con acepciones diferentes, como: fase, proceso y metodología; sin embargo, hemos optado por esta última, porque es el mejor término que plasma lo que queríamos transmitir.

A continuación, hemos decidido desarrollar los tipos de evaluación para hacer una mayor profundización en el tema. En la vida profesional nos veremos en la situación de tener que evaluar diferentes aspectos, y es importante conocerlos porque dependiendo del objeto de evaluación utilizaremos un tipo u otro. El siguiente punto, se trata de los modelos de evaluación que no se deben confundir con los tipos. Los primeros hacen referencia a diferentes modelos elaborados por distintos autores, como Tyler, Stake o Schuman.

Otro punto a destacar son las diversas formas que existen de hacer la evaluación, subrayamos dos muy importantes: cualitativa y cuantitativa. Estas técnicas son significativas y contrapuestas, ya que una atiende a cuestiones más objetivas y la otra hace uso de la subjetividad.

Quizás a lo largo del trabajo puede surgir la duda entre el significado de evaluación y de seguimiento, por lo que hemos optado por dedicarle un apartado dejando claro sus diferencias. Asimismo nos hemos detenido en la evaluación externa, haciendo hincapié en los requisitos, características, ventajas e inconvenientes de llevarla a cabo.

El Trabajo Social y la evaluación es nuestro último punto, en él comentamos porqué este tema es una competencia del Trabajo Social. En este capítulo hemos relacionado la evaluación con el trabajo social apoyándonos en bibliografía sobre el tema y además leyendo el código deontológico de la profesión.

2. OBJETIVOS

OBJETIVOS DE CONOCIEMIENTO

OBJETIVO GENERAL OBJETIVOS ESPECÍFICOS Conocer los ámbitos de intervención de la gestión. Profundizar en el

conocimiento de la evaluación. Conocer las funciones de la profesión.

OBJETIVOS DE HABILIADADES

OBJETIVO GENERAL OBJETIVOS ESPECÍFICOS Desarrollar habilidades para la planificación. Adquirir habilidades

para la práctica profesional. Desarrollar habilidades para la evaluación de proyectos.

4

OBJETIVOS DE ACTITUDES

OBJETIVO GENERAL OBJETIVO ESPECÍFICO Mantener una actitud abierta y creativa. Formarnos en

actitudes para el ejercicio profesional. Mantener una actitud autocrítica.

5

3. RESUMEN

El concepto de evaluación es entendido por Nirenberg como “una actividad

programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de esos programas, proyectos, planes y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejora la acción futura. Una dificultad que se puede encontrar a la hora de definir este concepto es la posible confusión, por su similitud, con el concepto de “seguimiento”. No obstante encontramos un aspecto diferenciador entre ambos y es que; la evaluación emite juicios críticos de intervención y nos permite obtener conclusiones mientras que en el seguimiento estas no son visibles.

La metodología de la evaluación son los pasos a seguir para realizar la evaluación. El proceso consta de seis fases, las cuales son:

• Fase 1: planteamiento de la evaluación. • Fase 2: selección de las operaciones a observar. • Fase 3: elección del diseño de evaluación. • Fase 4: recogida de información. • Fase 5: análisis de datos. • Fase 6: informe. La primera fase es la más importante ya que con ella empezamos a centrar el

tema, reuniendo información sobre todos los aspectos que rodean a la evaluación. Es trascendente plantear posibles inconvenientes, ya que si éstos son primordiales tendremos la opción de abandonarla antes de que sea demasiado tarde. La selección de las operaciones, se refiere a cuáles son las características que queremos observar y de qué manera lo vamos a realizar. En la elección del diseño de evaluación, tenemos que tener en cuenta lo que vamos a evaluar para seleccionar el tipo de evaluación que más nos conviene. La fase cuatro consiste en la recogida de información, aquí nos plantearemos también cómo lo haremos. El análisis consiste en interpretar los datos encontrados, de esta manera debemos hacer una presentación estadística de los mismos. El informe es el documento final que se entrega a todos las personas interesadas en la evaluación, recogiendo en ella la los resultados.

Los tipos de evaluación de programas y proyectos socio-educativos se concretan de forma diferente según quién evalúa, la función que desempeñe la evaluación, los elementos del programa que se estén evaluando en cada caso o según el momento en que se realice la evaluación. Estos criterios nos ofrecen diferentes tipologías de evaluación.

Las principales ideas de los modelos de evaluación propuestos por los siguientes autores son:

Tyler habla de un modelo centrado en la evaluación mediante objetivos y especificando las metas. Además propone una estricta delimitación de los objetivos de modo jerárquico en términos objetivos y medibles. Asimismo, selecciona los instrumentos adecuados para medir las situaciones o condiciones del programa. Finalmente, hace una recopilación de la información y un análisis comparativo.

Stake plantea, en primer lugar, la recopilación y el análisis de la información que describe el programa/servicio y su base lógico/conceptual. En segundo lugar, se identifican las normas de calidad (normas absolutas) de los grupos de referencia

6

importantes; y se recogen datos descriptivos de programas alternativos críticos. De ahí se deducen normas relativas. Por último, se procede a emitir un juicio sobre el programa/servicio en función de su adecuación a las normas absolutas y relativas.

E. Schuman identifica evaluación con investigación aplicada, marcando los siguientes objetivos: el primero consiste en analizar los motivos/razones de éxito y fracaso de programas/servicios midiendo el éxito como el logro de los objetivos propuestos; el segundo resalta la filosofía base de la intervención que ha tenido éxito; finalmente redefine los medios necesarios para lograr los objetivos.

Stufflebeam se encarga de la toma de decisiones dando información útil; mientras Scriven habla de las consecuencias reales y totales que produce la intervención tomando como criterio de evaluación las necesidades de los usuarios/consumidores.

Existen dos formas de hacer evaluación: la cuantitativa y la cualitativa, las cuales parte de supuestos ontológicos, epistemológicos y metodológicos contrapuestos.

Como principal asunción ontológica desde los planteamientos cuantitativos se defiende una posición realista. Contrariamente, desde una posición cualitativa (o naturalista) se mantiene el relativismo. Desde una perspectiva epistemológica, los planteamientos cuantitativos postulan el objetivismo por la realidad mientras que cualitativos se consideran subjetivistas en el sentido en el que la relación entre el observador y lo observado es de tal naturaleza que el producto de la investigación o evaluación haya de ser entendida como una pura creación de tal relación. Por último, metodológicamente, el paradigma cuantitativo postula el intervencionismo en el que el control, la manipulación y la medición sistemática son garantías de rigor científico mientras que la posición cualitativa propone la hermenéutica ya que el observador se convierte en el principal instrumento en la comprensión del fenómeno objeto de estudio.

4. PALABRAS CLAVE

“Análisis de datos”, “Cualitativa”, “Cuantitativa”, “Evaluación”, “Evaluador externo”, “Hermenéutica”“Informe de evaluación”, “Intervencionismo”, “Metaevaluación”, “Metodología”, “Objetividad”, “Plan Procedimientos”, “Realismo”, “Relativismo”, “Resultados descriptivos”, “Seguimiento”, “Subjetividad”.

3

5. DESARROLLO

1.- ¿QUÉ ES EVALUACIÓN?1 Son muchos los autores que definen la evaluación, por este motivo nosotros hemos

escogido dos definiciones que hemos considerado claras y precisas. Por un lado, Ballesteros concluye diciendo que la evaluación es la sistemática investigación a través de de métodos científicos de los efectos, resultados y objetivos de un programa con el fin de tomar decisiones sobre él. Por otro lado, Nirenberg dice que la evaluación “es un actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos* de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de esos programas, proyectos, planes y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejora la acción futura”

*Procedimientos sistemáticos, son los diferentes momentos de la evaluación: a) Previo: propuesta teórica b) Juicial: al empezar c) Proceso: a la mitad, seguimiento, monitorización d) Resultados: al final, metaevaluación: le pido a alguien que compruebe los

resultados que obtuve e) Impacto: transcurrido un tiempo desde que acaba. Cuadro 1.

¿Qué es la evaluación?

Nirenberg dice que la evaluación “es un actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos* de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de esos programas, proyectos, planes y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejora la acción futura”

*Procedimientos sistemáticos, son los diferentes momentos de la evaluación: Previo, Juicial, Proceso, Resultados e Impacto.

2.- METODOLOGÍA PROCESOS Y FASES DE LA EVALUACIÓN. 2 La situación actual en la metodología de la evaluación es una situación plural,

compleja y más realista que la existente hace unos años. No es que unas perspectivas hayan ido sustituyendo a otras sino que se han ido produciendo progresos paulatinos en la metodología añadiendo nuevas perspectivas, nuevos tipos de evaluación, nuevos

1 Herrera, J.M. (2005/2006). Guía de la asignatura de Trabajo Social. Gerencia y Administración de Servicios Sociales. La Laguna: Fotocopias Drago. p.p.154 Compilado de: 2 Fernández, F, (1996). Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis psicológica. p.p. 75-103 Martín, A. (1991). Metodología de la evaluación de programas. Madrid: Centro de investigación sociológicas. p.p. 8-11

4

conceptos y herramientas analíticas… de modo que realmente en estos momentos la fase clave de una evaluación es la de la determinación de los objetivos de la misma, o más exactamente, la delimitación de qué preguntas quieren verse contestadas

2.1. FASE I: PLANTEAMIENTO DE LA EVALUACIÓN Toda evaluación comienza por una demanda y por un estudio de viabilidad

de esa demanda. El planteamiento de la evaluación es la fase más decisiva del proceso ya que supone el punto de partida. En primer lugar debe llevarse a cabo una recogida de información sobre el programa y sobre todas las condiciones que le rodean.

Durante esta fase, el evaluador deberá plantearse una serie de cuestiones:

a) ¿Quién solicita la evaluación?

b) ¿Para qué se solicita?

c) ¿Qué se pretende evaluar?

d) ¿Qué obstáculos pudieran producirse durante la evaluación? e) ¿Es posible llevar a cabo la evaluación? Es importante realizar pronósticos sobre las posibles barreras que,

previsiblemente, van a aparecer a lo largo de la evaluación relacionadas con los siguientes aspectos interrogativos:

- ¿Existe aceptación de la evaluación por parte de los distintos implicados? - ¿Algunos de estos implicados pueden poner obstáculos?

-¿Hasta que punto está "comprometido" el evaluador con la institución/programa que pueda involucrar su objetividad/neutralidad?

- ¿La finalidad de la evaluación pudiera producir obstáculos?

- ¿Qué costos va a conllevar la evaluación? La respuesta a todas estas preguntas va a seguir requiriendo de la ejecución

de las siguientes tareas que pueden haberse cumplimentado con éxito: - Examen de archivos, documentos y bibliografía sobre el programa y su

implantación. - Entrevistas con directivos, gestores, técnicos y, a veces, usuarios. - Observación del programa. Tras haber examinado todos posibles inconvenientes y si el resultado de

este examen es positivo, el evaluador habrá tomado la decisión de realizar la evaluación. Por el contrario, en caso negativo, informará al cliente sobre las razones que le han de llevar a rechazar la petición de evaluación. Las razones para rechazar la propuesta de evaluación pueden ser diversas, algunas de éstas pueden ser que los archivos y documentos del programa son insuficientes, la dificultad de encontrar datos verosímiles, etc.

2.2. FASE 2: SELECCIÓN DE LAS OPERACIONES A OBSERVAR Cuando nos referimos a operaciones estamos hablando tanto del qué vamos

a observar o evaluar como del con qué es observado, a lo cual habría que añadir un desde qué fuente de información.

5

En evaluación de programas trabajamos con distintos implicados que se convierten en fuentes de información distintas que han de ser tenidas en cuenta a la hora de seleccionar las operaciones a observar.

Pero ello no es todo, como señalan Morris y Fitz-Gibbon (1984), nuestras observaciones van a dirigirse a una parte del cambio que se ha producido en las unidades como efectos del programa. En este sentido se puede hacer referencia la metáfora del iceberg que nos expresa que nosotros sólo observamos una pequeña parte de la realidad. Sin embargo, ésta metáfora no es del todo adecuada ya que la parte del iceberg que no observamos cuando nos referimos a evaluación esa parte es totalmente desconocida. En algunas ocasiones puede darse el caso de que el evaluador recoja más número de efectos de los que realmente produce el programa, o en caso contrario puede darse que el evaluador recoja un pequeño número de los efectos producidos por un programa. Por tanto, si partimos de la base de que nuestras observaciones reflejarán una parte de los efectos del programa, lo que no está claro es la relación entre los efectos observados y medidos y aquellos inobservables o inobservados. Volviendo a nuestra metáfora, sabemos que vemos una cantidad determinada de iceberg pero no sabemos qué porción está sumergida.

En todo caso debemos partir de una posición multiplista. En valoración de programas debemos proceder a la utilización de distintos indicadores o medidas de múltiples variables. El multiplismo tiene una especial incidencia en la selección de las operaciones a observar, ya que prescribe la utilización de múltiples variables procedentes de múltiples medidas recogidas desde múltiples fuentes de información.

Así, las preguntas que resultan relevantes en esta fase del proceso de evaluación son las siguientes:

a) ¿Qué operaciones en las unidades expresan mejor los cambios producidos en ellas como consecuencia del programa?

b) ¿Han de ser considerados otros efectos del programa potencialmente evaluables?

c) ¿Existen indicadores o medidas de los posibles cambios del programa fácilmente accesibles y/o habrá que proceder a la construcción de instrumentos "ad hoc" para proceder a la observación de tales operaciones?

d) ¿Qué fuentes de información son las que ofrecen más garantías? e) ¿Qué criterios de bondad van a ser requeridos o son potencialmente

exigibles? f) ¿Qué datos sobre el contexto de implantación se pueden recoger? 2.3. FASE 3: SELECCIÓN DEL DISEÑO DE EVALUACIÓN Un diseño es un plan desde el que se establece cuándo y qué unidades van ser

observadas (Fitz-Gibbon y Morris, 1978). La evaluación suponía una sistemática recogida de información, así que, la utilización de un plan o diseño asegura una debidamente organizada recogida de datos sobre el programa y su circunstancia.

La selección del diseño tiene que estar guiada por los propósitos y objetivos de la evaluación además de estarlo también por otras cuestiones mucho más pragmáticas.

Para seleccionar el diseño de evaluación debemos atender a una serie repreguntas tales como:

- ¿Existe un diseño de evaluación establecido desde el programa?

6

- ¿Qué diseños alternativos son posibles? - ¿Qué amenazas a la validez interna y externa pueden existir?

- ¿Qué unidades van a ser seleccionadas?

2.4. FASE 4: RECOGIDA DE INFORMACIÓN En esta cuarta fase se debe decidir sobre dos cuestiones:

a) ¿Qué logística va a seguirse en la recogida de información?

b) ¿Qué potenciales sesgos van a producirse durante la recogida de información en los datos a obtener?

Para una adecuada recogida de datos se exige distintos tipos de tareas, tales como el establecimiento de calendarios (secuencias en las aplicaciones de pruebas), formación de observadores (calificadores, entrevistadores, administradores de tests, etc.), solicitud de autorización para la obtención de datos de archivo, visitas a informantes, planificación para la obtención, en su caso, de garantías de los datos a obtener (fiabilidad, validez) etc.

2.5. FASE 5: ANÁLISIS DE DATOS

El objetivo esencial del análisis de datos es el de sintetizar lo obtenido para dar respuesta a los propósitos de la evaluación. El tipo de análisis requerido dependerá tanto de la naturaleza de los datos como de las preguntas relevantes que hayan sido formuladas por el/os cliente/s de la evaluación, en este sentido no será lo mismo si trabajamos con datos cualitativos o con datos cuantitativos. En esta fase debeos plantearnos tres cuestiones importantes para abordar con éxito el análisis de datos:

a) ¿Como vamos a almacenar la información obtenida?

b) ¿Qué tipo de análisis podemos realizar en función de los datos y las preguntas relevantes?

c) ¿Qué criterios han de guiar los análisis? 2.6. FASE 6: INFORME3 El objetivo final de toda evaluación de programas es dar a conocer a los

patrocinadores la información relevante obtenida a través del proceso de evaluación; en muchas ocasiones los evaluadores deben extender su informe a todos aquellos interesados o potencialmente beneficiarios de dicha evaluación y hacer públicos sus resultados a la comunidad científica a través de la publicación de su trabajo en los medios de comunicación científica.

Puesto que un informe sobre la evaluación de programas no difiere sustancialmente de los informes científicos, conviene recordar que, a la hora de la redacción de este documento, se debe tener en cuenta el lector a quien se dirige la información. A continuación se enuncian las cuestiones que deben poder ser contestadas para la realización del informe:

- ¿Qué debe contener el informe de evaluación para que el estudio sea replicable?

3 Pérez, M.C. y López de la Llave, A. (1999) Evaluación de Programas de salud y servicios sociales: Metodología y ejemplos. Madrid: DYKINSON. p.p 31

7

- ¿Qué medios se emplearán para ofrecer la información a los diferentes interesados escrito, oral, vídeo?

���� INFORME DE EVALUACIÓN (Ballesteros, R, 1996) 4 1. Portada • Nombre del programa evaluado • Nombre del evaluador • Quién solicitó la evaluación • A quién va dirigido • Fechas y duración de la evaluación • Fecha del informe y firma del evaluador 2. Resumen • Objetivos de la evaluación • Breve descripción del programa • Principales hallazgos en función de los propósitos de la evaluación • Importantes recomendaciones que se derivan de la evaluación 3. El objeto a evaluar (el programa) • Datos sobre la planificación del programa • Descripción de los recursos y acciones e infraestructuras que requiere • Formulación de la teoría del programa • Metas y objetivos • Unidades a las que se ha sometido el programa • Contextos de implantación • Grado o nivel de implantación del programa

4. Estudio valorativo • Objetivos de la evaluación • Barreras • Contextos evaluados • Sujetos I Unidades • Operaciones observadas (variables, indicadores, instrumentos y medición

científica) • Diseño • Procedimiento • Análisis de datos 5. Resultados (descriptivo) 6. Discusión 7. Conclusiones y recomendaciones

���� INFORME DE EVALUACIÓN (Niremberg, O.; et all , 2000) • Introducción • Análisis y síntesis evaluativo • Conclusiones y recomendaciones

4 Herrera, J.M. (2005/2006). Guía de la asignatura de Trabajo Social. Gerencia y Administración de Servicios Sociales. La Laguna: Fotocopias Drago. p.p 172-173

8

Cuadro 2. PROCESO DE LA EVALUACIÓN

FASES DESCRIPCIÓN FASE 1: PLANTEAMIENTO DE LA EVALUACIÓN.

Es la fase más decisiva. Se realiza una recogida de información de todos los aspectos que rodean a la evaluación.

FASE 2: SELECCIÓN DE OPERACIONES A OBSERVAR.

Se refiera a lo que vamos a observar y cómo lo vamos a observar.

FASE 3: SELECCIÓN DE DISEÑO DE EVALUACIÓN.

Asegura debidamente una recogida de datos sobre el programa y su circunstancia.

FASE 4: RECOGIDA DE INFORMACIÓN.

En esta fase es importante ser capaces de determinar cuáles son los posibles sesgos que podemos cometer en nuestra recogida de información.

FASE 5: ANÁLISIS DE DATOS. Se trata de sintetizar lo obtenido para dar respuesta a los propósitos de la evaluación

FASE 6: EL INFORME.

Se trata de realizar un documento con los aspectos de la evaluación para ser entregado a aquellas personas interesadas en la evaluación.

3.- TIPOS DE EVALUACIÓN DE PROGRAMAS 5 La evaluación de programas y proyectos socio-educativos se concreta de forma

diferente según quién evalúa, la función que desempeñe la evaluación, los elementos del programa que se estén evaluando en cada caso o según el momento en que se realice la evaluación. Estos criterios nos ofrecen diferentes tipologías de evaluación.

3.1. SEGÚN QUIÉN EVALÚA Un programa o un proyecto pueden evaluarse internamente por las personas que

han diseñado la intervención o por otras que están encargadas de llevarla a cabo. La evaluación interna tiene la ventaja de que aquellos que evalúan la intervención son personas que están familiarizados con el programa y conocen cuáles son sus elementos que deben ser tenidos en cuenta. La evaluación externa tiene la ventaja de que los evaluadores no tienen “compromisos adquiridos" con el programa o sus logros y pueden obrar con una mayor independencia.

La formación de equipos mixtos o la consideración de un doble proceso interno y externo pueden mejorar sustancialmente los resultados de la evaluación.

3.2. SEGÚN SU FUNCIÓN Resulta ya clásica la distinción entre una evaluación formativa dirigida al

desarrollo y la mejora del programa en curso, y una evaluación sumativa cuya función es la selección, la certificación o el control de cuentas sobre el programa. Desde un punto de vista institucional, la primera tendría preferentemente un uso interno y podría servir, por ejemplo, para modificar o mejorar el diseño del programa o para mejorar su

Compilado de: 5 Rojo, A. (2002). Diseño y evaluación de programas. Madrid: Eos. p.p 56-63 Viesma, A. (1996). Evaluación de programas sociales. Madrid: Ediciones Díaz de Santos. p.p 3-5 Fernández, R. (1996). Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis. p.p 36-38

9

ejecución en aspectos como los materiales didácticos, las estrategias instruccionales, la gestión de recursos, etc.; la segunda serviría más bien a fines externos a la propia institución que diseña y/o ejecuta el programa, que a veces son impuestos por las administraciones regionales o nacionales. En un sentido similar, también se diferencia entre evaluación proactiva, que sirve para tomar decisiones, y evaluación retroactiva, utilizada para la certificación y el control de cuentas.

3.3. SEGÚN LOS ELEMENTOS DEL PROGRAMA QUE SE ESTÉN

EVALUANDO La evaluación de programas y proyectos socio-educativos se concreta de forma

diferente en función del nivel de desarrollo que tengan dichos programas o proyectos. Por lo tanto, podemos referimos a diferentes tipos de evaluaciones según los elementos del programa que se estén evaluando, es decir, según estemos en una fase de planificación del programa, nos encontremos aplicando el mismo o el programa lleve un cierto tiempo ejecutándose. Es el flujo de la evaluación que ayuda a controlar y mejorar la intervención.

En la etapa de planificación del programa, la evaluación de necesidades y la evaluación de la conceptualización o diseño del propio programa resultan claves. Sin la información que nos aporta la evaluación de necesidades pueden producirse importantes desajustes entre las demandas sociales, institucionales y/o personales (situación actual), las finalidades que se persiguen y el diseño de intervención que estamos realizando. De igual modo, no someter a ensayo o valorar dicho diseño antes de ejecutarlo puede suponer un enorme riesgo difícil de paliar una vez comenzada la aplicación del programa.

La evaluación de necesidades nos permite un acercamiento a una determinada realidad social o educativa, a sus problemas y a cómo estos problemas son interpretados por las personas o colectivos a los que afecta. Por tanto, este tipo de evaluación trata de delimitar cuál es la necesidad o carencia, qué hechos la explican, qué intervención resulta prioritaria y qué características debe reunir.

La evaluación conceptual o de diseño realiza un análisis del diseño del proyecto o programa, determinando: a) en qué medida lo planificado es relevante y pertinente para afrontar las necesidades detectadas (su racionalidad); b) y, en qué medida la estrategia diseñada resulta adecuada a los objetivos establecidos en la intervención (su coherencia).

En la etapa en la que se inicia la aplicación del programa, la evaluación de la aplicación o implementación, junto con la evaluación de la cobertura y la evaluación de la monitorización o del seguimiento ayudan a conocer en qué medida la intervención se acerca o se aleja de lo planificado.

La evaluación de la aplicación o implementación se ocupa de recoger información sobre el modo en que se está llevando a cabo la aplicación del programa en su totalidad. Este último caso, cuando el programa ya ha sido implantado con anterioridad e interesa conocer detalles de algunas partes del mismo.

La evaluación de la cobertura se detiene en analizar hasta qué punto la intervención "llega" a la población a la que está destinada. La cuestión clave a la que trata de responder este tipo de evaluación es a qué parte de la población objetivo alcanza el programa, por tanto, intenta determinar sesgo s en la cobertura y problemas de accesibilidad (a los materiales del programa, debidos a problemas de horario, etc.).

La evaluación de la monitorización o del seguimiento realiza una valoración del modo en que se gestiona y se organiza la aplicación del programa. Por tanto, en ella se

10

lleva a cabo un análisis periódico de la información para evaluar aspectos o partes concretas de la intervención: los recursos humanos implicados en el programa, los materiales e incluso la funcionalidad del diseño de la intervención (p.e los contenidos y las actividades propuestas).

Y, en la etapa en la que la intervención ha concluido o cuando el programa viene aplicándose desde hace tiempo, la evaluación de resultados es fundamental para valorar los posibles logros del programa y la evaluación de impacto resulta apropiada para conocer en qué medida dichos logros se han transferido a la práctica o a contextos diferentes de aquellos en los que se produjo la intervención inicial. No obstante, también puede ser importante evaluar la cobertura de la intervención o (en los casos en los que se hayan realizado varias aplicaciones) evaluar la monitorización o el seguimiento.

La evaluación de resultados trata de determinar en qué grado la intervención consigue los resultados previstos y qué otros resultados no previstos pueden ser atribuidos a la aplicación del proyecto o programa. Lo fundamental no es tanto conocer los resultados finales de una aplicación sino poder determinar cuáles de ellos están bajo la influencia del programa.

Con la evaluación de impacto tratamos de determinar cómo los cambios observados en los sujetos, implicados en la intervención, afectan a otras audiencias. Por ejemplo, cómo los conocimientos aprendidos en un programa afectan a otros elementos del currículo escolar o cómo las habilidades desarrolladas en unos trabajadores se traducen en cambios en las empresas en las que se incorporan. El impacto mide las consecuencias en un marco que va más allá de los límites fijados por el propio programa y, en cierta medida, nos da la auténtica valía de la intervención realizada.

3.4. Según la perspectiva temporal Relacionada con la tipología anterior, este nuevo criterio de clasificación hace

referencia al momento en que se realiza la evaluación en relación con el momento en que se encuentra la intervención.

La evaluación ex-ante es aquella que se realiza antes de la intervención y nos permite analizar dos aspectos claves: a) determinar si la intervención resulta pertinente a las necesidades que la motivan y b) estimar su éxito o sus posibilidades. En ese sentido, la evaluación ex-ante ofrece información sobre la funcionalidad de los mecanismos de gestión de la intervención (calendario, recursos), sobre la coherencia de su diseño (contenidos, metodología, actividades), sobre los resultados previsibles y la posibilidad de que dichos resultados modifiquen la práctica (de alumnos, profesores, trabajadores, asociaciones, etc.) una vez que la intervención haya finalizado y sobre la eficiencia de la intervención (costes-beneficios educativos, sociales y económicos que se pueden obtener).

Las evaluaciones ex-ante son habituales en la resolución de convocatorias de proyectos de intervención en los ámbitos locales, nacionales o internacionales. Comités de expertos examinan los proyectos para determinar su grado de ajuste a la convocatoria y su viabilidad.

La evaluación intermedia tiene lugar mientras se lleva a cabo la: intervención, es una evaluación de seguimiento que aporta datos valiosos sobre el modo en que la aplicación se ajusta a lo planificado y, en alguna medida, sobre el modo en que el programa diseñado se ajusta a las necesidades. Es decir, nos informa si los objetivos previstos están siendo alcanzados, si la logística de aplicación (calendario, recursos) funciona según lo previsto y realiza una estimación sobre los resultados finales de la intervención. Por consiguiente, sus aportaciones resultan fundamentales para introducir

11

modificaciones en el diseño o la aplicación del proyecto o programa. Las intervenciones en cualquier ámbito y, por tanto, en el caso de los proyectos y

programas socio-educativos deben ofrecer un informe de su estado “a medio camino”; es lo que habitualmente conocemos como “informe de progresos”. Pues bien, la evaluación intermedia permite elaborar este tipo de informes.

La evaluación ex-post tiene lugar una vez que ha concluido la intervención. Por tanto, está destinada a apreciar los logras del proyecto o programa, la logística utilizada en su aplicación, su grado de flexibilidad y capacidad de adaptación a una realidad socio-educativa que puede modificarse. Evaluaciones ex-post como las evaluaciones de resultados y de impacto son prácticas cada vez más habituales y también es cada vez más habitual que se exijan como requisito en cualquier convocatoria que subvenciona proyectos o programas de intervención.

Cuadro 3.

TIPOS DE EVALUACIÓN - Según quién evalúa: o Evaluación interna

o Evaluación externa

- Según su función

o Evaluación formativa vs evaluación sumativa

o Fines internos vs fines externos Evaluación preactiva vs evaluación retroactiva

- Según los elementos del programa que se estén evaluando

o Evaluación de necesidades o Evaluación de la conceptualización o diseño o Evaluación de la aplicación o implementación o Evaluación de la cobertura o Evaluación de la monitorización o del

seguimiento o Evaluación de resultados o Evaluación de impacto

- Según la perspectiva temporal

o Evaluación ex-ante o Evaluación intermedia o Evaluación ex-pos

- El Proceso de Evaluación de Programas

1. Marco regulador de la evaluación. 2. Objeto y tipo de evaluación. 3. Finalidad y función de la evaluación. Objetivos. 4. Identificación de las audiencias. 5. Términos de comparación. 6. Criterios de evaluación. 7. Diseño de evaluación: tipo, participantes,

recogida y análisis de datos. 8. Resolución del diseño de evaluación. 9. Calendario de trabajo previsto. 10. Equipo de evaluación

12

4. ALGUNOS MODELOS EVALUATIVOS 6 4.1. EL MODELO DE TYLER

Ralph TYLER desarrolló hace ya muchos años un modelo centrado en la evaluación mediante objetivos.

El proceso a seguir dentro de este modelo es relativamente sencillo y lineal: a) Especificación de metas y objetivos del programa. b) Estricta delimitación de estos objetivos de modo jerárquico (mayor a menor

concreción) en términos objetivos y medibles. c) Selección o elaboración de los instrumentos adecuados para medir las

situaciones o condiciones del programa en que se produce o no la consecución de dichos objetivos.

d) Recopilación de la información. e) Análisis comparativo de lo logrado, La perspectiva tyleriana es una perspectiva sencilla y directa pero con

importantes problemas: a). No dice nada sobre el cómo se consiguen o no dichos objetivos, ni el por qué

no se han logrado. Es decir, este modelo no tiene carácter formativo sino sumativo. b) El modelo requiere la especificación y delimitación de objetivos medibles, lo

que muchas veces resulta difícil o imposible.

4.2. EL MODELO DE R. STAKE STAKE recoge dentro de su modelo tanto procedimientos descriptivos como

procedimientos de emisión de juicios/valores, insistiendo en que aunque la evaluación no está completa hasta que no se emiten los correspondientes juicios de valor, la parte descriptiva es ya una evaluación o en cualquier caso es un paso previo a la correspondiente valoración o enjuiciamiento de un programa.

Realmente, en el modelo de STAKE se plantean tres procesos/niveles diferentes y sucesivos, que son el soporte sistemático de la evaluación: a) Examen de la base lógica/conceptual del programa o servicio. b) Descripción detallada del programa/servicio con aporte de información sobre tres aspectos/categorías distintos del programa/servicio: - todos los antecedentes del mismo; - las actividades que tienen lugar en el programa; - los resultados o consecuencias del mismo. c) Valoración del programa/servicio en función de la comparación de los datos descriptivos del mismo (fase 2) con datos descriptivos de programas alternativos (o alternativas competitivas críticas, en palabras de SCRIVEN) y con normas de calidad.

La parte descriptiva constituye la fase de recogida sistemática de la información referente al programa, debiendo distinguirse entre intenciones y observaciones (aspectos subjetivos y objetivos) además de los tres niveles señalados antes (antecedentes, actividades, resultados/consecuencias).

La dimensión «intencional» hace referencia al planeamiento inicial, es decir, lo que se pretende, pero también a las percepciones de los participantes del programa

STAKE recomienda asimismo que se lleve a cabo un doble análisis en este nivel descriptivo:

a) Análisis de la discrepancia/incongruencia entre lo querido/buscado/intenciones y lo observado en las tres dimensiones señaladas. 6 Martín, A. (1991). Metodología de la evaluación de programas. Madrid: Centro de investigación sociológica. p.p 11-17

13

b) Análisis de las relaciones contingentes entre consecuencias/resultados y actividades específicas y/o antecedentes para llegar a conexiones de tipo causa/efecto.

En la fase última de valoración o evaluación propiamente dicha, en el sentido de emisión de juicios/valores, se lleva a cabo una doble comparación:

a) De una parte se comparan los datos descriptivos del programa con los de un programa alternativo, es decir, un programa que realmente sea una alternativa crítica.

b) De otra, se compara con normas de calidad establecidas con criterios explícitos por los grupos de referencia más importantes en cada caso. Según el tipo de programa/servicio ésos pueden ser: los expertos/profesionales, los políticos/decisores, los usuarios, etcétera.

El proceso de evaluación, dentro de este modelo, sigue los siguientes pasos: a) Se recopila y se analiza la información que describe el programa/servicio y su

base lógico/conceptual. b) Se identifican las normas de calidad (normas absolutas) de los grupos de

referencia importantes. c) Se recogen datos descriptivos de programas alternativos críticos y de ahí se

deducen normas relativas. d) Se procede a emitir un juicio sobre el programa/servicio en función de su

adecuación a las normas absolutas y relativas. 4.3. EL MODELO DE E. SCHUMAN SCHUMAN identifica evaluación con investigación aplicada sobre la efectividad

de una intervención social siguiendo, por tanto, un modelo estrictamente cientificista. Sin embargo, no se atiene solamente al análisis de la consecución de objetivos, sino

que además añade como objetivos de una evaluación: a) Analizar los motivos/razones de éxito y fracaso de programas/servicios

midiendo el éxito como el logro de los objetivos propuestos. b) Resaltar la filosofía base de la intervención que ha tenido éxito. c) Redefinición de los medios necesarios para lograr los objetivos. Aunque el estudio de efectos es prioritario en cualquier evaluación según

SCHUMAN, para su correcto análisis es necesario recoger información sobre: - los procesos del programa; - la población objeto: características y volumen; - condicionantes situacionales del desarrollo de la intervención, y - los efectos diferenciales de la misma. Del mismo modo, SCHUMAN entiende que hay tres posibles tipos de evaluación: - la evaluación última de resultados, es decir, la evaluación mediante objetivos; - la evaluación previa que se centra en la delimitación de necesidades, de metas y

objetivos y puesta en marcha de la intervención social, y - la evaluación durante el proceso para ver qué actividades o procedimientos son

más útiles. Por último, dentro del modelo de SCHUMAN se especifican cinco criterios de

valoración que realmente dan lugar a cinco tipos de evaluaciones: a) El criterio o evaluación del esfuerzo que implica la intervención social (calidad y

cantidad de las actividades de la intervención). b) La evaluación del producto o resultado. c) La evaluación de la suficiencia. d) La evaluación de la eficiencia. e) La evaluación del proceso, o sea, el análisis de qué lleva a los resultados.

14

4.4. EL MODELO DE STUFFLEBEAM El modelo desarrollado por STUFFLEBEAM intenta ante todo orientarse hacia la

toma de decisiones proporcionando información útil para la misma. De un modo muy sucinto y resumido, el propio STUFFLEBEAM señala el tipo de

información que proporciona su modelo: a) Qué necesidades existen y hasta qué punto los objetivos propuestos reflejan las

necesidades sentidas. b) Descripción del programa de intervención, de las propuestas alter

nativas contempladas y análisis conceptual de la adecuación de la propuesta elegida a los objetivos.

c) Grado de realización del plan de intervención propuesto y descripción de sus modificaciones.

d) Resultados/consecuencias observadas de la intervención y grado en que se han satisfecho las necesidades.

Para conseguir esta información, STUFFLEBEAM plantea lo que llama el modelo CIPP, que es sencillamente la enumeración de cuatro tipos distintos de evaluación:

- evaluación del contexto (C); - evaluación de los inputs (I); - evaluación del proceso (P); - evaluación del producto (P); El primer tipo de evaluación se centra en el análisis de la población objeto de la

intervención, en la valoración de sus necesidades, identificación de programas de intervención alternativos y análisis de la coherencia de los objetivos propuestos.

El segundo se centra en el análisis de los programas y la planificación de la intervención.

La evaluación del proceso lo hace en el análisis de la realización de la intervención, las actividades desarrolladas y la implementación del programa.

Por último, la evaluación del producto incide en el análisis de los resultados, poniéndolo en relación con los objetivos y la información obtenida en los otros tipos de evaluación.

El modelo de STUFFLEBEAM se inscribe, -como puede verse, entre los modelos que amplían la metodología tradicional de la evaluación centrada en objetivos, pero que no supone una alternativa radicalmente distinta sino una alternativa complementaria.

De hecho, lo que hacen tanto SCHUMAN como STUFFLEBEAM es ampliar los objetivos de la evaluación de modo que sea mucho más sistemática y global. No sólo hay que conocer si los objetivos se consiguen (evaluación de resultados o de producto), sino también:

- cuáles son las necesidades; - si éstas están plenamente recogidas en los programas/servicios; - cómo se implementan los programas/servicios; - cómo funcionan estos programas/servicios, etc. Realmente los nuevos modelos, sobre todo el de STUFFLEBEAM, tienden hacia

una evaluación totalizadora y sistemática. 4.5. EL MODELO DE SCRIVEN SCRIVEN altera de un modo radical la perspectiva evaluadora de anteriores

modelos al centrar el énfasis en las consecuencias reales y totales que produce la intervención social tomando como criterio de evaluación las necesidades de los usuarios/consumidores.

15

SCRIVEN desarrolla su modelo en una serie de puntos/criterios de evaluación de los que conviene destacar:

a) Antecedentes, contexto, recursos y función del programa/servicio que se quiera evaluar.

b) El sistema de distribución del programa/intervención. c) Descripción de los usuarios o población objeto de la intervención. d) Necesidades y valores de los que se ven realmente afectados por la intervención. e) Existencia o no de normas/criterios previos para la evaluación. f) El proceso de la intervención social. g) Los resultados de la misma. h) Los costes de la intervención. i) La comparación con programas/servicios alternativos. A pesar de todos estos criterios y aspectos a considerar en una evaluación,

conviene recalcar que desde el modelo de SCRIVEN lo importante es la determinación de las consecuencias/efectos reales del programa/servicio y su evaluación en función de las necesidades y valores de los propios usuarios/consumidores. Es decir, lo que añade SCRIVEN es la perspectiva del usuario, del cliente, perspectiva que es tantas veces olvidada desde las instancias planificadoras.

Cuadro 4

MODELOS EVALUATIVOS TYLER (modelo centrado en la evaluación mediante objetivos) Procesos

1) Especificación de metas y objetivos del programa. 2) Estricta delimitación de estos objetivos de modo jerárquico (mayor a menor concreción) en términos objetivos y medibles. 3) Selección o elaboración de los instrumentos adecuados para medir las situaciones o condiciones del programa en que se produce o no la consecución de dichos objetivos. 4) Recopilación de la información. 5) Análisis comparativo de lo logrado.

STAKE (tanto procedimientos descriptivos como de emisión de juicios/valores) Procesos

1) Se recopila y se analiza la información que describe el programa/ser-vicio y su base lógico/conceptual. 2) Se identifican las normas de calidad (normas absolutas) de los grupos de referencia importantes. 3) Se recogen datos descriptivos de programas alternativos críticos y de ahí se deducen normas relativas. 4) Se procede a emitir un juicio sobre el programa/servicio en función de su adecuación a las normas absolutas y relativas.

E. SCHUMAN (identifica evaluación con investigación aplicada) Objetivos

1) Analizar los motivos/razones de éxito y fracaso de programas/servi-cios medido el éxito como el logro de los objetivos propuestos. 2) Resaltar la filosofía base de la intervención que ha tenido éxito. 3) Redefinición de los medios necesarios para lograr los objetivos.

16

Continuación MODELOS EVALUATIVOS

Tipos

1) El criterio o evaluación del esfuerzo que implica la intervención social (calidad y cantidad de las actividades de la intervención). 2) La evaluación del producto o resultado. 3) La evaluación de la suficiencia. 4) La evaluación de la eficiencia. 5) La evaluación del proceso, o sea, el análisis de qué lleva a los resul-tados.

STUFFLEBEAM (toma de decisiones dando información útil) Información

que proporciona

1) Qué necesidades existen y hasta qué punto los objetivos propuestos reflejan las necesidades sentidas. 2) Descripción del programa de intervención, de las propuestas alter-nativas contempladas y análisis conceptual de la adecuación de la propuesta elegida a los objetivos. 3) Grado de realización del plan de intervención propuesto y descrip-ción de sus modificaciones. 4) Resultados/consecuencias observadas de la intervención y grado en que se han satisfecho las necesidades.

SCRIVEN (consecuencias reales y totales que produce la intervención tomando como criterio de evaluación las necesidades de los usuarios/consumidores.)

Criterios de evaluación

1) Antecedentes, contexto, recursos y función del programa/servicio 2) El sistema de distribución del programa/intervención. 3) Descripción de los usuarios o población objeto de la intervención. 4) Necesidades y valores de los que se ven realmente afectados por la intervención. 5) Existencia o no de normas/criterios previos para la evaluación. 6) El proceso de la intervención social. 7) Los resultados de la misma. 8) Los costes de la intervención. 9) La comparación con programas/servicios alternativos.

5.-EVALUACIÓN CUANTITATIVA VS EVALUACIÓN

CUALITATIVA 7 Si existe un tema polémico recurrente en evaluación de programas, éste es, sin

lugar a dudas., el que contrapone dos formas de hacer evaluación: la cuantitativa y la cualitativa. La cuestión lleva consigo un mayor radicalismo cuando se examina desde una perspectiva teórica.

La cuestión es que la evaluación cualitativa parte de supuestos ontológicos, epistemológicos y metodológicos contrapuestos a los mantenidos desde la evaluación cuantitativa.

Presentando los presupuestos de la evaluación de cuantitativa (positivista, también llamada “convencional” y “cualitativa” (o naturalista), planteados por Guba (1987), podemos establecer que; como principal asunción ontológica desde los planteamientos cuantitativos se defiende una posición realista desde la que se postula, un mundo externo existe como realidad independiente del observador o

7 Fernández, F, (1996). Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis psicológica. P.p 46-52

17

evaluador. Contrariamente, desde una posición cualitativa (o naturalista) se mantiene el relativismo por el que se supone existen múltiples realidades socialmente construidas. Desde una perspectiva epistemológica, los planteamientos cuantitativos postulan el objetivismo por la realidad puede ser conocida con independencia del observador mientras que cualitativos se consideran subjetivistas en el sentido en el que la relación entre el observador y lo observado es de tal naturaleza que el producto de la investigación o evaluación haya de ser entendida como una pura creación de tal relación. Finalmente, metodológicamente, el paradigma cuantitativo postula el intervencionismo en el que el control, la manipulación y la medición sistemática son garantías de rigor científico mientras que la posición cualitativa propone la hermenéutica ya que el observador se convierte en el principal instrumento en la comprensión del fenómeno objeto de estudio.

La cuestión ha de verse desde una perspectiva más amplia; una ruptura entre ambas posiciones ha de deberse no ya a polémicas intradisciplinares sino, más bien, a un contexto socio-cultural y científico mucho más amplio. Esta corriente cultural que está paulatinamente desarrollándose en las últimas décadas trata de romper con la tradición ilustrada y espíritu de la modernidad -que ha imperado a lo largo de las dos últimas centurias- proponiendo salidas “postmodernas” en los distintos ámbitos de las ciencias sociales. Como señalan Scherest y Figueredo (1993), la evaluación cuantitativa y cualitativa supone visiones del mundo en colisión con las que no nos podemos detener.

Pero, dentro de esta contraposición de perspectivas, los evaluadores cualitativos achacan a la evaluación cuantitativa postulados o presupuestos defendidos -desde una posición un tanto ingenua- por el empirismo lógico en los que la base de investigación se centraba en análisis bivariados escasamente defendibles a la hora de juzgar los efectos de un programa (o tratamiento), sobre una determinada variable dependiente (o resultados en las unidades). Como hemos comentado han sido los metodólogos cuantitativos los que han criticado soluciones simplistas.

Muchas críticas recibidas por el positivismo (y la evaluación cuantitativa) en los últimos años han seguido -como señala Brown (1984)- dos posiciones: rupturista y renovadora. Dentro de la primera está, precisamente, el movimiento cualitativo (naturalista, constructivita, o de “cuarta generación”). Existe también una corriente desde la que crítica pero renovadora, lo que se ha venido en llamar el “postpositivismo” se ha abierto una nueva forma de hacer evaluación cuantitativa denominada (Cook, 1985). En síntesis, el multiplismo pretende ser una salida no rupturista pero sí crítica y renovadora al simplismo que suponía la aplicación del empirismo lógico a la evaluación de programas. De los diez puntos básicos del multiplismo propuestos por Cook conviene enfatizar en los ocho más relevantes para la evaluación de programas y que llevan consigo lo siguiente:

a) Utilizar múltiples enfoques teóricos. b) Probar múltiples modelos causales multivariados. c) Plantear múltiples hipótesis rivales. d) Establecer múltiples definiciones operacionales de las múltiples variables

implicadas.

e) Plantear cuestiones valorativas procedentes de las múltiples audiencias implicadas.

f) Establecer objetivos múltiples que permitan múltiples análisis de resultados.

g) Utilizar múltiples métodos de evaluación.

18

h) Realizar múltiples análisis de datos y contrastes de hipótesis. Vemos como estas propuestas procedentes de planteamientos postpositivistas o

renovadores base de la posición cuantitativa hoy en día- y que han sido desarrollados desde la evaluación de programas, solucionan gran parte de los problemas denunciados. Si hasta aquí se ha adoptado una posición de síntesis e integración de algunas posturas encontradas en evaluación de programas, tenemos que concluir esta polémica: inclinándonos hacia uno de sus polos: el cuantitativo. Ello no quiere decir que el evaluador no utilice instrumentos de evaluación desarrollados desde planteamientos cualitativos o que no efectúe estudios de caso único o diseños intensivos. Sin embargo, los presupuestos ontológicos, epistemológicos y metodológicos que subyacen son esencialmente cuantitativos. Así, se defiende lo siguiente:

a) Que la evaluación es una forma de investigación científica. b) Que la evaluación, aunque se ve inmersa en los valores del contexto y ha de

tener en cuenta a los distintos implicados en el programa y la evaluación, debe ser realizada mediante métodos que maximicen la objetividad de sus resultados.

c) Que el control, la manipulación adecuada y la medición son garantías para realizar un trabajo riguroso, y, finalmente.

d) Que el evaluador, al realizar un trabajo normativo, asume un rol que le sitúa en una posición de experto (como en otros ámbitos como el derecho, la medicina, psicología. etc.) frente a otros valoradores (perceptores y enjuiciadores) de esa misma realidad.

Cuadro 5 CUANTITATIVA CUALITATIVA

On

toló

gico

s

- Realismo: Existe una realidad independiente de cualquier observador en la que rigen principios, la verdad es definida como la representación de la realidad

-Relativismo: Existen varias realidades socialmente construidas en las que no rigen principios ni leyes generales. La verdad es una construcción consensuada.

Ep

iste

mo

lógi

cos - Objetivismo: El conocimiento de

la realidad puede darse con independencia del observador en tanto en cuanto existen una serie de garantía de la observación.

- Subjetivismo: La relación entre el observador y lo observado es de tal naturaleza que el producto de la investigación es una pura creación de ésta.

Me

tod

oló

gic

os -Intervencionismo: EL control

como la manipulación y la medición son garantías necesarias para la investigación científica.

- Hermenéutica: La metodología compromete al propio observador que se convierte en el principal instrumento en la comprensión del fenómeno objeto de estudio

6.- DIFERENCIAS ENTRE EVALUACIÓN Y SEGUIMIENTO 8 Las diferencias más evidentes entre estos dos términos son las siguientes.

Compilado de: 8 Herrera, J.M. (2005/2006). Guía de la asignatura de Trabajo Social. Gerencia y Administración de Servicios Sociales. La Laguna: Fotocopias Drago p.p 166

19

En primer lugar, decir que la evaluación emite juicios críticos sobre la validez, bondad y utilidad de la intervención; mientras, el seguimiento da una información aislada de los elementos del Programa. Asimismo, el seguimiento se debe realizar internamente por la Administración y no implica un coste demasiado elevado. Sin embargo, la evaluación se puede realizar tanto internamente como por evaluadores externos, es por eso que exige importantes recursos. Por último, comentar que la evaluación nos permite obtener conclusiones, mientras el seguimiento gracias a la monitorización describe y observa como va evolucionando una variable en el tiempo, y por lo tanto hace una descripción.

Cuadro 6: EVALUACIÓN SEGUIMIENTO

DIFERENCIAS - Emitir juicios críticos sobre la validez, bondad y utilidad de la intervención.

- Información aislada de los elementos del Programa.

- Exige importantes recursos - No implica un coste demasiado elevado - Se puede realizar tanto internamente como por evaluadores externos

- En principio se debe realizar internamente por la Admón.

- Conclusiva - Informativa 7.- LA EVALUACIÓN EXTERNA 9 7.1 DEFINICIONES Son muchos los autores que hablan de la evaluación externa, pero nosotros

optamos por la siguiente definición: Proceso de obtención de información válida y fiable qué habrá que analizar, interpretar, valorar y comunicar, al objeto de conocer la realidad e indicar, si fuese necesario, las consiguientes propuestas de mejora.

7.2 REQUISITOS Los requisititos que se debería plantear para hacer una evaluación externa serían

los siguientes: � Tener legitimación institucional, al estar basada en la normativa específica

determinada y consensuada por los diferentes órganos consultivos y de participación. � Hacerse pública, al estar basada en objetivos, metodología y estrategias

planificadas por todos y ser públicos sus informes con los resultados de la evaluación. � Realizada con evaluadores externos al sistema sometido a valoración, de

manera que se garantice la máxima independencia de los mismos. � Debe ser rigurosa y objetiva, con instrumentos y técnicas fiables, y con

análisis y contrastación de datos, que nos aporten una información válida y fiable, para una interpretación de la misma a través del contexto y características del centro.

� Contextualizada, a partir de la situación real de la entidad o proyecto, teniendo en cuenta su punto de partida, así como sus recursos y características concretas.

� Carácter comprehensivo y global de los recursos, procesos y resultados. � Negociada y consensuada respecto a fines, objetivos, contenidos, criterios e

indicadores de evaluación. � Intencional, se pretende mejorar y no controlar.

9 José Luis Estefanía Lera y Juan López Martínez (2003) Evaluación externa del centro y calidad educativa. Editorial CCS, Madrid: p.p 37-42, 63-66.

20

� Debe ser consecuente, si se ha conseguido una mejora se debe comunicar porque de lo contrario, el proceso resultaría inoperante y frustrantes, y perdería el principal objetivo del mismo.

� Que contemple la metaevaluación. La evaluación externa se desarrolla de forma similar a la evaluación interna, salvo

que en la primera se hace uso de un profesional que se encarga de evaluar la entidad desde la objetividad. Este técnico tendrá que poseer las características expuestas en el siguiente punto.

7.3 CARACTERÍSTICAS Las características de la evaluación externa serían los siguientes: � Ética, en el sentido de que se deben de hacer públicos el método,

instrumentos, estrategias que se utilizarán, las finalidades y objetivos que persigue, así como las consecuencias que podrá tener su aplicación.

� Democrática, para que la información llegue a todos los afectados y a la sociedad en general.

� Prudente, para que la información al llegar a oídos de la sociedad no perjudique a un cierto grupo o colectivo.

� Planificada, para que no se dé lugar a actuaciones improvisadas, con seguimiento del proceso de desarrollo y evaluación a su término (metaevaluación).

� Comprensible, ya que sus informes finales deben poder ser entendido por los distintos sectores a donde van dirigidos.

� Informativa y formativa, de manera que aparte del informe de evaluación se reciba también información del funcionamiento de otras entidades con similares características, para poder comparar y que se puedan sacar conclusiones. Formativa, porque uno de sus objetivos debe ser introducir a la entidad en tareas evaluadoras.

� Completa. Lo que se deberá tener en cuenta es intentar captar, del modo más completo posible, el conjunto de factores cuantitativos y cualitativos implicados en los procesos y resultados que se analicen.

� Potenciadora de la evaluación interna, dando a conocer métodos, instrumentos y estrategias para que el centro sepa realizar su propia evaluación interna.

� Participativa, potenciando la información e implicación del mayor número de miembros de la comunidad, de manera que les corresponsabilice y valoren las aportaciones.

� Transparente, se deben conocer los objetivos, instrumentos y estrategias que se van a utilizar, es una de las condiciones para que todos confíen en la misma.

� Flexible, planteando de forma abierta a los cambios, de modo que se adecue a las nuevas exigencias.

� Diagnóstica, para que el evaluador externo pueda hacer una evaluación inicial y global de cuáles son los puntos débiles y hacer mayor hincapié, a través de una evaluación más profunda.

� Útil, con planes de evaluación realistas, ágiles y sencillos de aplicar. De la evaluación externa podemos obtener tanto ventajas como inconvenientes: 7.4 VENTAJAS E INCONVENIENTES Las ventajas y los inconvenientes de la evaluación externa son los siguientes: Ventajas � Existe una mayor distancia del proceso de evaluación, lo que produce una

mayor imparcialidad y objetividad en el análisis e independencia respecto al resultado.

21

� Se realiza con personal técnica que cuenta con más experiencia, recursos y tiempo.

� El evaluador cuenta con unos puntos de referencia más amplios y complejos. � Se puede realizar mientras se desarrolla el proyecto, programa, plan… � Crea expectación en los equipos de la Organización lo que rompe la rutina. � Aprovecha toda la experiencia y preparación del equipo evaluador: métodos,

técnicas, instrumentos… � En ambientes enrarecidos puede provocar más motivación y participación al

figurar como intermediario personal especializado y ajeno. � Permite comparar los resultados de la evaluación interna con los resultados de

una evaluación externa. � Permite tener información comparada con los resultados de evaluaciones de

otras entidades. � Potencia una cultura evaluadores informando y formando a los mismos

procedimientos, técnicas y estrategias. � Permite abordar aspectos complejos. � Permite la objetividad e imparcialidad de un equipo evaluador externo. Inconvenientes � Riesgo de falta de contextualización respecto de la organización en la que se

realiza y de comparación simplista con otras organizaciones, estableciendo un ranking de Organizaciones de calidad.

� Falta de transparencia de los miembros de la Organización. � Que se centre en aspectos no relevantes para la Organización y si para el equipo

evaluador, así como centrarse sólo en los resultados, sin tener en cuenta el punto de partida y los procesos de desarrollo.

� Que tenga poca incidencia en La Organización por centrarse en factores cuantitativos sobre los resultados y el producto.

� Riesgo de tener poco poder formativo, si no cuenta con los procesos que se desarrollan y no se hacen propuestas de mejora que incidan en la organización y funcionamiento del mismo.

� Riesgo de poca implicación y participación en la toma de decisiones sobre las recomendaciones.

� Centrarse sólo en aspectos formales de la Organización y no en otros ocultos que la afectan.

� Recelos en la Organización por pensar que: resalta más lo negativo que lo positivo, interpretar la información de manera sesgada, falta de representatividad de la muestra, publicar el informe daría una mala imagen de la organización, no se han tenido en cuenta sus sugerencias, se ha tenido poco en cuenta el contexto y las circunstancias de la organización.

22

Cuadro 7 LA EVALUACION EXTERNA

Requisitos de la

evaluación externa

- Tener legitimación institucional - Hacerse pública - Realizada por evaluadores externas - Rigurosa y objetiva - Contextualizada en la Organización que se aplique. - Carácter comprehensivo y global Negociada y consensuada con los sujetos objeto de evaluación. - Intencional - Que contemple la metaevaluación

Características de la evaluación

externa

- Ética - Democrática - Prudente - Planificada - Comprensible - Informativa y formativa - Completa - Potenciadora de la evaluación interna - Participativa - Transparente - Flexible - Diagnóstica - Útil

Ventajas evaluación

externa

- Existe una mayor distancia del proceso de evaluación, lo que produce mayor imparcialidad y objetividad en el análisis respecto al resultado. - Realizada por personal técnico que cuenta con más experiencia, recursos y tiempo. - El evaluador/a cuenta con unos puntos de referencia más complejos y amplios - Se puede realizar mientras se desarrolla el proyecto, programa, plan, etc... - Crea expectación en los equipos de la Organización lo que rompe la rutina. - Puede promover la participación inexistente hasta ahora.

23

Continuación cuadro 7: LA EVALUACION EXTERNA

- Permite comparar los resultados de la evaluación interna - Permite tener información comparada con los resultados de evaluaciones de otras organizaciones. - Potencia cultura en la Organización informando y formando a los mismos en procedimientos, técnicas y estrategias. - Permite abordar aspectos complejos - Permite la objetividad e imparcialidad.

Inconvenientes de la evaluación

externa

- Riesgo de falta de contextualización respecto de la Organización donde se realiza y de comparación simplista con otras Organizaciones, estableciendo un ranking de Organizaciones de calidad. - Falta de transparencia de los miembros de la Organización - Que se centre en aspectos no relevantes para la Organización y si para el equipo evaluador, así como centrarse sólo en los resultados, sin tener en cuenta el punto de partida y los procesos de desarrollo. - Que tenga poca incidencia en la Organización por centrarse en factores cuantitativos sobre los resultados y el producto. - Riesgo de tener poco poder formativo (sin contar con los procesos de la Organización y haga propuestas de mejora) - Riesgo de poca implicación y participación en la toma de decisiones sobre las recomendaciones. - Centrarse sólo en aspectos formales de la Organización y no en otros ocultos que la afectan. - Recelos en la Organización por pensar que: resaltar más lo negativo que lo positivo, interpretar la información de manera sesgada, falta de representatividad de la muestra, publicar el informe daría una mala imagen de la Organización, no se han tenido en cuenta las sugerencias de la organización, se ha tenido poco en cuenta el contexto y las circunstancias de la Organización.

8. Trabajo Social y evaluación. El siguiente apartado trata sobre la importancia que tiene la evaluación para el

trabajo social así como la relación que hay entre ambos. La profesión de trabajo social está continuamente en contacto con la realidad, sin

embargo, la visión que los profesionales se forman día a día de esa realidad puede estar sesgada por valores propios, estereotipos, etc. por ello la investigación se forma como uno de los exponentes de esta profesión. En esta misma línea, los trabajadores sociales se valen de planes, programas y proyectos para una vez diagnosticada la realidad con dichos elementos podamos modificarlas, mejorarla o crear nuevos procesos sociales.10

Siguiendo lo expuesto, nos preguntaremos: ¿Siendo la realidad tan cambiante, cómo sabe el profesional que ha logrado sus objetivos? O por otro lado, ¿nuestra actuación ha sido eficaz? Pues bien, la evaluación se erige como la gran respuesta a estas preguntas ya que está presente en todas las actuaciones de los profesionales para

10 Cohen, E. y Franco, R. (1993). Evaluación de proyectos sociales. Madrid: Siglo Veintiuno de España editores, S. A : p.p 75-103.

24

garantizar un análisis objetivo de los resultados. Si un trabajador social no investiga para conocer puede crearse ideas verdaderamente erróneas de la realidad. Asimismo si no evalúa su investigación puede equivocarse y llegar a conclusiones sesgadas.

En el Código Deontológico de la profesión nos encontramos como se hace referencia a la evaluación, configurándose ésta como una de las funciones generales de los diplomados en Trabajo Social (Art. 2). Desde aquí se insta a los trabajadores sociales a seguir procesos evaluativos en los todos aspectos que traten en sus actuaciones.

En este mismo sentido, cabe decir que en el artículo 12 del código se establece que los trabajadores sociales deben trabajar con la colaboración de los usuarios o clientes y desde nuestro punto de vista, la evaluación es una muy buena oportunidad para que los individuos participen en las acciones de los trabajadores sociales.11

8. GLOSARIO DE TÉRMINOS

• Análisis: Distinción y separación de las partes de un todo hasta llegar a conocer

sus principios o elementos. También se dice de todo procedimiento que comporta un examen discursivo. Ander- Egg, E. 1984: 11.

• Análisis de datos: Procedimiento mediante el cual se hace un examen amplio y detenido de la información y antecedentes recopilados, con el fin de hacer una valoración y apreciación crítica de los mismos que, a su vez, permitirá su interpretación. Los datos, en sí mismos, tienen limitada importancia. Para que se hagan relevantes, es necesario “hacerlos hablar”, esto es, encontrarles significación; en esto cosiste la esencia del análisis de datos. Se trata de poner de relieve las partes de un todo para conocer, en forma particular, todas y cada una de las partes del conjunto de modo que proporcionen respuestas a los interrogantes de la investigación. Ander- Egg, E. 1984: 11.

• Cualitativa: Relativo a la calidad, a la naturaleza de los objetos, pero no a su cantidad. Larusse editorial S. A., 1998: 646.

• Cuantitativa: Relativo a la cantidad. Larusse editorial S. A., 1998: 646. • Evaluación: En su acepción amplia designa el conjunto de actividades que sirven

para dar un juicio, hacer una valoración o medir “algo” (objeto, situación, proceso..etc.). Aplicado a los programas de Servicio y Trabajo Social, el término se entiende con dos alcances: como última fase de la estructura básica de procedimiento constituye la fase final de un proceso de estudio-investigación programación ejecución y evaluación que consiste en utilizar una serie de procedimientos destinados a comprobar si se han conseguido o no las metas y objetivos propuestos (en un plan, programa o proyecto) y como técnica de control operacional, la evaluación es la “comparación” o “constatación” que resulta de confrontar lo que se ha hecho o realizado, con lo que se quería hacer, investigando por qué ha ocurrido lo que ha ocurrido, es decir, los factores que han influido en los resultados. La evaluación es un proceso encaminado a determinar su temática y objetivamente la pertinencia, eficiencia, eficacia e impacto de todas las actividades a la luz de los objetivos propuestos con el propósito de proponer las correcciones o reajustes necesarios, de modo que contribuya a la toma de decisiones para establecer 11 Universidad de la Laguna. Departamento de Trabajo Social. (2005). Guía Práctica de Trabajo Social III . La Laguna: Arte comunicación Visual, S. L: p.p 81-91.

25

modificaciones en la acción y mejorar las actividades, que se hallan en marcha. Ander- Egg, E. 1984: 125.

• Hermenéutica: Principio que define los principios y métodos de la crítica y la interpretación de textos. Larusse editorial S. A., 1998: 1153.

• Informe de evaluación: Redacción del objetivo de la evaluación de programas dando a conocer la información relevante obtenida a través del proceso de evaluación. (742, 31)

• Intervencionismo: Doctrina que defiende la intervención del estado en los asuntos privados, o de una nación en un conflicto entre dos países. Larusse editorial S. A., 1998: 1255

• Metaevaluación: Consiste en la evaluación de la evaluación. Análisis de la utilidad de los hallazgos. Apreciación sobre la viabilidad del proceso evaluativo y del uso de sus resultados. Juicio acerca de la pertinencia metodológica y la ética. Análisis de la confiabilidad de los hallazgos y procedimientos. Herrera Hernández, J.M. 2004-2005: 164.

• Metodología, Estudio de los métodos utilizados para la adquisición del conocimiento científico, o de los procedimientos empleados para la transformación de la realidad; en este último caso se trata de los métodos utilizados por las diferentes tecnologías. Algunos autores suelen distinguir entre la metodología general, que como parte de la lógica o de la teoría del conocimiento, se ocupa de estudiar los métodos generales empleados en las ciencias y en la filosofía, y la metodología específica, ligadas a un cuerpo particular con los que se alude a los procedimientos que utiliza una determinada disciplina. Ander- Egg, E. 1984: 197.

• Objetividad: Cualidad de objetivo. Capacidad de estudiar los hechos tal como se presentan, sin aferrarse a opiniones o juicios preconcebidos, con disposición para abandonar cualquier posición que la realidad muestre como falsa, inadecuada o no satisfactoria. En este sentido la objetividad se presenta como un aspecto sustancial de la actitud científica. Ander- Egg, E. 1984: 215.

• Plan: Conjunto organizado de fines, objetivos, metas, instrumentos, medios y recursos para lograr el desarrollo de un área determinada o de un sector. Conjunto de enunciaciones para designar un conjunto de enunciaciones, que corresponden a las acciones formuladas para el cumplimiento de una función determinada. Ander- Egg, E. 1984: 230.

• Procedimientos, método para ejecutar alguna cosa. Forma de hacer las cosas para lograr un objetivo determinado. También lo podemos definir como una serie de actos que predeterminan cursos de acción y la manera de ejecutar un trabajo, así como la forma de encarar el estudio de una acción, habitualmente técnica. Procedimientos sistemáticos sería el método que sigue o se ajusta a un sistema. Ander- Egg, E. 1984: 244.

• Realismo, entre las diferentes significaciones del término, en Trabajo Social se utiliza para hacer referencia a la tendencia o actitud de considerar los hechos “tal como son”, sin prejuicios y sin violentarlos por los propios deseos o expectativas. Ander- Egg, E. 1984: 257.

• Relativismo: Doctrina según la cual el conocimiento humano solo tiene por objeto relaciones, sin llegar nunca al de lo absoluto. Se sostiene el valor relativo y la falta de universalidad de la verdad o la moral. Diccionario de la Lengua Española. 2000: 1249.

• Resultados descriptivos: Cosa que resulta de otra cosa, manera de terminar una acción utilizando datos descriptivos. Moliner, M. 2000: 1216.

26

• Seguimiento, acción y efecto de velar por la consolidación de unos resultados ya obtenidos mediante apoyo, orientación, asesoramiento u otras intervenciones. Sitjá, M. 1989:43.

• Subjetividad: Cualidad de subjetivo, se aplica por oposición a “objetivo”, a lo que se refiere al sujeto que piensa, siente, etc..., y no a lo exterior a la mente de él. Se dice de lo que depende de cada sujeto y no es igual para todos. Relativo a nuestro modo de pensar o de sentir, y no al objeto en sí mismo. Moliner, M. 2000: 1308.

27

9. BIBLIOBRAFÍA

� Ander-Egg, E. (1984). Diccionario de Trabajo Social. Barcelona: El Atenea � Cohen, E. y Franco, R. (1993). Evaluación de proyectos sociales. Madrid: Siglo

veintiuno de España editores S.A. � Fernández-Ballesteros, R. (1996). Evaluación de programas. Una guía práctica

en ámbitos sociales, educativos y de salud. Madrid: Síntesis Psicológica. � Herrera, J. M. (2005/2006). Guía de la Asignatura de Trabajo Social. Gerencia y

Administración de Servicios Sociales. La Laguna: Fotocopias Drago. � José Luis Estefanía Lera y Juan López Martínez (2003) Evaluación externa del

centro y calidad educativa. Madrid: CCS. � Martín, A. (1991). Metodología de la evaluación de programas. Madrid: Centro

de investigación sociológicas. � Moliner, M. (2000). Diccionario de uso del español. Madrid: Gredos. � Pérez- Llantada, M. C. y López de la Llave, R. (1999). Evaluación de programas

de salud y servicios sociales: metodología y ejemplos. Madrid: Dykinson. � Ramos, J. (1988). Servicios Sociales. Planificación y organización. Madrid:

Mestral Universidad. � Real Academia Española (2000) Diccionario de la Lengua Española. España:

Brosmac. � Rojo, A. (2002). Diseño y evaluación de programas. Madrid: Eos. � Sitjá, M. (1989). Terminología de los asistentes sociales. Barcelona: Materials de

Treball Social-5 � Universidad de la Laguna. Departamento de Trabajo Social. (2005). Guía

Práctica de Trabajo Social III. La Laguna: Arte comunicación Visual, S. L. � Viesma, A. (1996). Evaluación de programas sociales. Madrid: Ediciones Díaz

de Santos.

BIBLIOGRAFÍA RECOMENDADA � Aguilar, M. J. (1992). Evaluación de servicios y programas sociales. Madrid:

Siglo Veintiuno. � Ander-Egg, E. (1984). Evaluación de programas de trabajo social. Buenos

Aires: Editorial Humanitas. � Briones, G. (1991). Evaluación de programas sociales. México: Trillas. � Castillo, S. (2003). Evaluación de programas de intervención socioeducativo:

agentes y ámbitos. Madrid: Prentice Hall. � Silva, A., Carrón, J., Hernández, M. I. y Nieva, P. (1994). La evaluación de

programas en drogodependencias. Madrid: Grupo Interdisciplinar sobre Drogas, D. C.