TEMA 1. LA INVESTIGACIÓN EVALUATIVA EN EDUCACIÓN SOCIAL1. INTRODUCCIÓNLa evaluación nace en Estados Unidos vinculada a la tradición positivista de la investigación educativa y presentauna serie de peculiaridades que vamos a abordar en el presente tema.El alumno debe centrar el estudio en el concepto de investigación evaluativa y en analizar y valorar su proceso derealización. También es importante que conozca aquellos métodos más apropiados para su desarrollo, así comounas nociones generales sobre los procedimientos y las técnicas de recogida de información y datos, todo elloenfocado hacia el campo educativo.

2. CARACTERIZACIÓN DE LA INVESTIGACIÓN EVALUATIVALos términos investigación y evaluación aparecen, en muchas ocasiones, entrelazados y en algunos

momentos confundidos en los textos y manuales que abordan esta problemática.Mientras la investigación se caracteriza por las notas de: probar, extraer conclusiones, no implicación del

investigador, verdad científica, generalización; la evaluación presenta como características: mejorar, tomardecisiones, implicación del evaluador, valoración del fenómeno, sin pretensiones de generalización.

Para comprender mejor esta distinción puede ser interesante el análisis realizado por De la Orden (1985):

Investigación en sentido estricto Investigación evaluativaLos juicios de valor del investigador se limitan a losseñalados en la selección del problema.

Los juicios de valor se refieren tanto a la selección delproblema como al desarrollo y aplicación de losprocedimientos del estudio.

Las hipótesis de investigación se derivan de las teoríaso bien se generan por inducción de una serie deobservaciones o conocimientos.

La formulación de hipótesis puede resultar difícil y, enocasiones, inapropiada. Se suele recurrir a los objetivosde la evaluación.

La investigación puede ser replicada, dado que tanto laformulación del problema como de las hipótesis serealiza de forma expresa.

La replicación es muy compleja, puesto que el estudioevaluativo aparece unido a un programa determinado,en un momento y situación concretos de su desarrollo.

Los datos que debe recoger el investigador vienencondicionados por el problema y las hipótesispreviamente formulados.

Los datos a recoger por el evaluador dependen de laviabilidad del proceso, además de venir influenciadospor los juicios de valor que posee el administrador.

Las variables más relevantes en el trabajo pueden serobjeto de intervención y control, además de podereliminar sus efectos mediante la aleatorización y otrosprocedimientos.

El control de variables solamente se puede realizar demodo superficial. Así la aleatorización, como técnica decontrol de la varianza sistemática, es muy complicadolograrla.

Los criterios que se utilizan para la validación o elrechazo de las hipótesis son responsabilidad delinvestigador, para esta tarea emplea una serie dereglas restringidas.

El criterio por el que se decide la continuación,modificación, ampliación, eliminación del programa lofija la agencia administradora o la audiencia a la que sedirige el informe.

La redacción del informe de investigación sigue lasnormas establecidas por la comunidad científica, conuna secuencia muy determinada.

El informe de tipo evaluativo se debe adaptar a lasexigencias de la persona o personas que han de tomarlas correspondientes decisiones.

De la confluencia de ambos términos surge la investigación evaluativa que según: De la Orden (1985): proceso sistemático de recogida y análisis de información fiable y válida para poder

tomar decisiones sobre un programa educativo. Alvira Martín (1985): propuesta basada en la acumulación de información sobre una intervención o un

programa, sobre su funcionamiento y sobre sus efectos y consecuencias. Suchman (Cit. Stufflebeam, 1989): serie de procedimientos de recopilación y análisis de datos que

aumentan la posibilidad de demostrar, más que de asegurar, el valor de alguna actividad social yeducativa.

Patton (1990) su propósito es informar a la acción, apoyar la toma de decisiones y aplicar el conocimientopara tratar de resolver problemas humanos y sociales.

En las últimas décadas del siglo XX y comienzos del XXI se producen muchas controversias: muchosautores consideran sinónimos la investigación evaluativa y la evaluación de programas.

Existen muchas reticencias por parte de la comunidad científica de otorgar el rango de investigación a laevaluación. Para Patton (1990) la evaluación examina y juzga el nivel de realización y la eficacia de undeterminado programa educativo, sin ánimo de generalizar, mientras que la investigación evaluativa se ocupa deanalizar esa eficacia de manera sistemática, a partir de un proceso riguroso de recogida y análisis de datos, conposibilidades para extraer conclusiones válidas para la toma de decisiones.

En cualquier caso dentro de estas concepciones prima su consideración como investigación aplicada,centrada en la práctica, que a través de un proceso selectivo de recogida de información sobre un determinadoproblema del contexto educativo: un programa, un currículo, un equipo de docentes, una actividad de aula, unainstitución; facilita la toma de decisiones de mejora sobre el mismo.

Sin duda el objetivo fundamental que debe cubrir la investigación evaluativa consistirá en medir laeficacia de los programas, es decir, si las metas propuestas se han alcanzado. Para ello es necesario recurrir a unadeterminada metodología de investigación, además de establecer unos criterios para juzgar dicho programa, todoanalizado desde la finalidad social que persigue la evaluación. Si entendemos que en esta propuestametodológica aparecen implicados todos los aspectos, quiere decir que asumimos ir más allá de lo que implicauna simple evaluación, entendida como valoración de logros y procesos, para llegar a establecer procesossistemáticos de trabajo rigurosos.

3. EL PROCESO A SEGUIR EN LA INVESTIGACIÓN EVALUATIVAExisten diferentes propuestas que tratan de ofrecernos una respuesta razonable y coherente a los

interrogantes que se puede plantear cualquier investigador al aproximarse a este campo de estudio. Este procesosupone una constante toma de decisiones sobre diversas posibilidades que se van planteando a medida queavanza la investigación evaluativa, para concluir con la posible utilidad práctica que tienen los resultados finales.En cualquier caso, parece desprenderse la existencia de tres momentos clave en el proceso de la investigaciónevaluativa, tal y como recogemos en nuestra propuesta (ver gráfico página 8):

Veremos en detalle cada uno de los apartados o momentos anteriormente apuntados.3.1. Marco contextualNos permite el encuadre general de la propuesta investigadora, de tal forma que ofrece una serie deinformaciones de sumo interés para la posterior toma de decisiones. Es necesario hacer una reflexión profundasobre este marco general así como establecer y definir con precisión los siguientes aspectos.1.1. Objetivos del trabajo: vienen a establecer lo que pretende alcanzar el equipo investigador mediante larealización del trabajo práctico. Definición clara y concisa y diferenciar entre los de carácter general y aquellos

Proceso de investigación evaluativa

más específicos u operativos. Se insiste sobremanera en la definición operativa de estos objetivos medianteconductas perfectamente observables y constatables en la realidad educativa.1.2. Pautas de actuación: Implica que los distintos elementos que intervienen en el proceso tienen biendelimitadas sus competencias y cuáles deben asumir en los diferentes momentos por los que transcurre laintervención. En este apartado debemos reflejar el cómo se debe actuar en la investigación evaluativa.1.3. Secuenciación y temporalización del trabajo: Los diferentes momentos del proceso mantienen unainterrelación entre ellos. Así pues, se hace necesario establecer la secuencia en las actuaciones y presentar laactuación temporal1.4. Los sujetos intervinientes: en este apartado debemos establecer una diferenciación entre las personas queintervienen como miembros o colaboradores del grupo investigador y aquellos otros que van a participar en elestudio como muestra productora de datos. Este aspecto debe ser especialmente cuidado cuando buscamos lageneralización de los resultados.1.5. Los clientes: La persona o grupo que encarga la realización del trabajo. Pueden ser clientes, la personainteresada en evaluar su tarea o su programa de intervención, el grupo en que se incardina el estudio, lasautoridades de la propia institución, las autoridades académicas externas, la Administración de la educación.

3.2. Marco de la ejecución o puesta en prácticaEn este segundo momento entramos en la fase más operativa de la propuesta investigadora: un momento deejecución, frente al anterior más centrado en el diseño. Vamos a contemplar los siguientes aspectos:2.1. Plan de trabajo a seguir: Centrar la exposición en la operativización de las pautas de actuación y en el plan detrabajo que se debe desarrollar para alcanzar los objetivos propuestos. Es decir, se trata de hacer visible einteligible ese plan de actuación.2.2. Definición operativa de variables: Es preciso que éstas sean definidas e identificadas de forma precisa.Debemos proceder a su medida cuantitativa y cualitativa, para ello es preciso determinar con precisión loscriterios que van a servir de referencia en el proceso de traducción a conductas observables y, en la medida de loposible, que sean cuantificables.2.3. Selección y/o elaboración de técnicas e instrumentos de recogida de información y de datos: En el caso deque procedamos a la selección debemos tener en cuenta sus características técnicas (fiabilidad y validez), ademásde sus niveles de precisión, la muestra que se empleó en la baremación, los rasgos definidos por el instrumento.La elaboración resulta una tarea más compleja y larga.2.4. Proceso de recogida información y de datos: Se especifica de forma detallada cómo se procede a la recogidade datos y en qué momentos se realiza: de forma directa por el investigador o que cuente con apoyos externos,bien presencialmente o a través de diversos medios (teléfono, correo postal y electrónico, página WEB, etc.), biencon respuesta escrita o grabada tecnológicamente.2.5. Análisis y tratamiento de los datos: una vez recogidos los datos, es precisa una depuración de los mismos,para evitar su contaminación, eliminando los sobrantes o los que no se corresponden con las respuestassolicitadas. Una vez finalizada esta tarea se procede a realizar un análisis exhaustivo de los mismos, comenzandocon los estudios descriptivos o de representaciones gráficas, para seguir con otros análisis de mayor complejidad.

3.3. Marco de la valoración de los resultadosEste tercer momento viene marcado por la aplicación de los resultados alcanzados en el trabajo. Es decir, se tratade cómo llevar a la práctica las aportaciones de la evaluación, ya sea de un programa o de una institución. Resultapues fundamental para ello, ofrecer una valoración objetiva y contextualizada de los resultados alcanzados. Eneste sentido procede desarrollar los siguientes puntos:3.1. Selección de criterios de valoración: cuando el investigador o evaluador se encuentra frente a los datos debetener perfectamente claros los criterios con los que los va a juzgar, de tal forma que cualquier otro investigador opersona interesada pueda llegar a las mismas conclusiones que el equipo de trabajo y con la suficiente claridadpara ser interpretada por toda la comunidad científica.3.2. Análisis minucioso de los resultados: con los criterios previamente identificados y categorizados se procede aun estudio detallado de los mismos, conforme a los objetivos fijados en el trabajo, de tal forma que podamosextraer tanto la información superficial como la más profunda que encierran los resultados.3.3. Formulación de juicios: Implica la participación activa del equipo investigador, pues esta valoracióncontextualizada conforme a los criterios establecidos nos permite una apreciación, en cierto sentido subjetiva, delo que trasciende a los propios datos, pues se ve influenciada por el contexto social y cultural en que se inscribe.3.4. Toma de decisiones: constituye la principal seña de identidad en la investigación evaluativa, es por tanto sufinalidad última. Así pues la validez de los resultados nos permite una toma de decisiones sobre la propuesta

planteada en la evaluación de programas e instituciones. Naturalmente se entienden decisiones de mejora querepercutan no solo sobre el resultado final alcanzado, sino sobre los procesos que se han seguido a lo largo delestudio evaluativo.3.5. Redacción del informe: Este apartado se encuentra expresado de forma implícita en el desarrollo de lainvestigación. Según la persona o entidad a que se dirija el informe exigirá un tipo de redacción distinta, más omenos técnica y con mayor o menor número de detalles. En el tema 15 más detalles.

Esta propuesta de realización de investigaciones evaluativas, como cualquier otra que se pueda presentar, tratade combinar actividades y pasos relacionados tanto con la investigación como con la evaluación, con una especialincidencia en la valoración de los resultados y la implicación del investigador en la misma, más allá de las posturasasépticas marcadas en la investigación de carácter cuantitativo.

4. LOS MÉTODOS EN LA INVESTIGACIÓN EVALUATIVAEntendemos que la metodología se refiere al estudio de los métodos de investigación, es decir, se preocupa decomprender los procesos implicados en su puesta en práctica. Así pues, describe, explica y justifica el método detrabajo más apropiado al problema que es objeto de estudio y análisis. Bajo su dominio tienen cabida unadiversidad de métodos y procedimientos en el estudio de la realidad social y educativa. Mientras que el métodonos indica el camino que debe seguir el investigador para alcanzar un determinado fin.Desde concepciones abiertas podemos aceptar, y los hechos así lo ponen de relieve, que tradicionalmente se harecurrido a dos propuestas de actuación o dos caminos para dar respuestas razonables a los interrogantes queplantea la investigación evaluativa, nos referimos a los basados en el paradigma positivista y en el interpretativo.Aunque en fechas recientes los teóricos y los investigadores se decantan por el empleo conjunto, defendiendo lanecesaria complementariedad metodológica en el estudio de la realidad educativa.

4.1. Perspectiva experimental y cuasi-experimentalLas evaluaciones que siguen este enfoque se caracterizan por la búsqueda de relaciones entre los objetivos y loslogros del programa de intervención, consideramos que son especialmente útiles cuando se trata de tomardecisiones sobre la continuidad, la expansión, el abandono del mismo. Generalmente estas propuestas tanrigurosas suelen descansar sobre aportaciones previas de otros estudios evaluativos anteriores basados en lametodología cualitativa, el estudio de casos, la investigación correlacional y expost-facto, la descriptiva, etc.Esta perspectiva nos ofrece una valoración de los resultados del programa o de la institución, de su impactosocial, de la comparación con otros, de puntos fuertes o débiles, es decir, nos ofrece información útil sobre elprograma de intervención en su conjunto, una vez ejecutado en todos su apartados, por lo tanto, no contemplalos procesos implicados ni los contextos en que se ha puesto en práctica.Por su parte la alternativa cuasi-experimental, que trabaja con escenarios naturales y no exige la asignación alazar de los sujetos, ha sido de utilidad en este campo; pues sus puntos de partida no son tan estrictos como lapropuesta experimental. En ambos casos puede contemplarse su empleo en situaciones en que el objetivofundamental sea la comparación de programas, de instituciones, de eficacia escolar, de rentabilidad social.

4.2. Perspectiva cualitativaSurge como respuesta a las lagunas del enfoque anterior, aunque su desarrollo lo podemos situar en épocas másrecientes. Su preocupación fundamental se dirige a comprender los programas de intervención y sus efectos enlos participantes, dentro de un contexto de actuación determinado. Así pues, en este enfoque, tambiéndenominado naturalista, los evaluadores observan los fenómenos en situaciones naturales y recogen informaciónque es analizada desde la perspectiva de las personas implicadas en los procesos, así como de los gestores ypromotores.El estudio de los procesos implicados en la puesta en práctica se preocupa de cómo ocurre ese fenómeno, esdecir, el interés viene motivado por conocer el nivel de participación y las implicaciones de los sujetos y menospor los resultados alcanzados. Se interese por las actividades formales, las metas parciales previstas, losacontecimientos y las interacciones imprevistas.La información así obtenida permite aventurar juicios de valor sobre el grado y la amplitud que el programa o elcentro está consiguiendo, según los objetivos operativos planteados inicialmente, además de poner de manifiestoaquellos campos que se deben mejorar y los aspectos mejor valorados que se deben mantener. Nos encontramosante evaluaciones eminentemente formativas puesto que se dirigen hacia la mejora del programa.Los defensores del enfoque cualitativo estiman que es fundamental cuando se trata de recoger datos ricos yvaliosos tanto del contenido del programa de intervención como del contexto en que se aplica, además piensan

que sus trabajos suelen tener una mejor acogida entre el personal implicado en los procesos y son más útiles parala toma de decisiones sobre la puesta en práctica. No obstante, se les critica por no haber demostrado que lainformación generada es válida y generalizable, aunque se responde que sus intereses se han dirigido más a losprocesos y las relaciones entre las personas que participan en los programas y menos hacia la generalización delos hallazgos.

4.3. La complementariedad metodológicaDespués de analizar brevemente las propuestas cuantitativa y cualitativa y comprobar sus posibilidades ylimitaciones en la investigación evaluativa, parece lógico defender la opción de la complementariedad, comohacen Cook y Reichardt (1986) cuando se refieren a la flexibilidad y la adaptabilidad de los métodos a lassituaciones objeto de estudio. Otros autores opinan que los problemas deben abordarse desde ópticascomplementarias, para recoger la mayor riqueza, no desde posturas excluyentes y raquíticas.El problema de la superación de esta dicotomía no es tarea sencilla, pues ambas líneas proceden de tradicionessingularmente diferentes desde una perspectiva histórica, generadas a partir de la corriente filosófica defensoradel positivismo lógico en la investigación empírica. En el campo de la investigación evaluativa resulta más sencillala defensa de posturas eclécticas, pues el hecho de que una propuesta investigadora sea de naturaleza holista, nodebe suponer su adhesión al resto de las condiciones del paradigma cualitativo. Lo mismo podríamos afirmar enel caso de propuesta de medición rigurosa, que tampoco debería asumir todos los condicionantes del paradigmacuantitativo. Así pues, el investigador puede elegir con libertad una mezcla de los atributos de ambos, siempreque mantenga claramente definidos los objetivos de su investigación y cubra mejor las necesidades.En este sentido Eisenhart y Howe (1992) opinan que el debate metodológico no es más que un invento, pues sonmuchos los investigadores que realizan sus trabajos sin preocuparse de estas polémicas.Las ventajas potenciales que nos puede reportar el empleo conjunto de los métodos cualitativos y cuantitativosserían el atender de forma adecuada y en las condiciones más exigentes, la diversidad de propósitos y metas de lainvestigación evaluativa. La complementariedad nos ofrece también una visión más rica de la realidad objeto deestudio, así como la posibilidad de contrastar, mediante la triangulación, informaciones recogidas a través defuentes diversas y enriquecedoras.En el terreno educativo, recurrir al principio de la complementariedad, supone aceptar que el proceso deperfeccionamiento humano necesita conocer en profundidad los términos que se presentan como opuestos ydescubrir en cada uno de ellos su carácter complementario. El uso de un método u otro dependerá de lospropósitos de la investigación evaluativa, del estado de madurez del programa, de los recursos disponibles, de losintereses y necesidades de los patrocinadores y de los evaluadores y del medio político y organizativo delprograma de intervención socioeducativa.La argumentación de la defensa de la complementariedad metodológica en el momento de abordar el estudio dela educación social es defendida también de manera sistemática por Jaeger (1988), que resalta la importancia dela misma frente a los enfrentamientos, pues la complejidad de los hechos y fenómenos educativos, exige lapresencia de visiones distintas pero concurrentes en el mismo, lo que ofrecerá una riqueza de matices que sepodrían escapar a cada una de ellas de forma aislada.En esta línea argumental nos podemos cuestionar si una sola metodología es capaz de ofrecernos respuestasadecuadas y contrastadas a los diferentes interrogantes que plantea la investigación evaluativa. Entendemos queello no es posible, desde una concepción amplia del problema, que abarca el diseño del programa, comorespuesta a las necesidades educativas; para seguir con la puesta en práctica del mismo en un determinadocontexto y; a continuación, valorar las aportaciones y tomar las decisiones oportunas que repercutirán en losplanes de mejora que por supuesto deberán ser analizados. Así pues, esta evaluación integral exigirá a lo largo delproceso de diversos métodos, lo que nos conduce a la complementariedad que facilitará el contraste deinformación que puede ser coincidente, con lo que se constatarán los resultados alcanzados o bien se descubriránlas discrepancias, que nos identifiquen los puntos de alarma sobre los que se debe reflexionar más a fondo en elproyecto o programa.Una propuesta de trabajo bajo el enfoque cuantitativo, que es mucho más rigurosa en sus planteamientos y quesigue un proceso más lineal en su desarrollo, puede verse enriquecida con un enfoque de tipo cualitativo, dondelos contextos y las perspectivas de globalidad de los hechos y fenómenos educativos pueden ofrecernos unavisión de conjunto más adecuada a la realidad de la educación. Esta perspectiva de complementariedad exige lapresencia de técnicas variadas que permitan al investigador recoger informaciones y datos sobre la complejarealidad social y educativa a evaluar.En consecuencia, defendemos el enfoque metodológico en que se combinen las propuestas cuantitativas ycualitativas, si bien, debe ser el investigador o el equipo responsable de esta tarea quién, en cada momento,

decidirá cuál es el método y la técnica más apropiada en cada una de las situaciones contextuales en que se llevaa cabo el trabajo y qué nivel de participación se puede esperar de las personas implicadas en el mismo.Esta visión donde confluyen enfoques y propuestas de trabajo diversas, que facilitan el análisis profundo de larealidad educativa, permitirá alcanzar los objetivos propuestos por el equipo investigador en aras a conseguir suaplicación futura en otros contextos de naturaleza similar, lo que repercutirá de manera positiva en el logro deuna educación de calidad.

5. PROCEDIMIENTOS Y TÉCNICAS PARA LA RECOGIDA DE INFORMACIÓN Y DATOSEntendemos que el procedimiento nos marca el camino a seguir en la evaluación, mientras que las técnicas nosindican el modo de recorrer ese camino. Por ello, prima su carácter práctico y operativo de proximidad a larealidad a evaluar. Nos inclinamos por considerar las técnicas como aquellos medios que emplea el investigadoro evaluador para registrar sus observaciones o facilitar el tratamiento adecuado de la información. Es necesarioque puedan garantizar que los datos suministrados alcanzan una buena calidad, de forma que la toma dedecisiones derivada de la misma sea la más adecuada a la realidad objeto de estudio.Esta selección trata de presentar aquellas técnicas a las que se suele recurrir cuando el investigador/evaluador seplantea un trabajo de esta naturaleza.

5.1. Técnicas de enfoque cuantitativoSi nos remontamos a los trabajos de Tyler nos encontramos con que las propuestas para la recogida deinformación y datos tenían una naturaleza eminentemente cuantitativa: su objetivo fundamental se dirigía haciala comprobación de los resultados alcanzados, es decir, lo que realmente importaba era la eficacia del programaseguido, tanto en el grado de cumplimiento como en los efectos producidos en los beneficiarios. Así pues, estastécnicas van a generar una medida (dato numérico) sobre la que se puedan realizar los análisis estadísticos.Uno de los objetivos que se debe fijar el investigador será el conseguir un dato de calidad, es decir, un datosuficientemente preciso, válido y fiable que no induzca a error o sesgo en su procesamiento formal.

5.1.1. La entrevistaConstituye uno de los procedimientos más empleados, puesto que nos permite una recogida directa deinformación que se basa en una relación personal entre entrevistador y entrevistado, mediante anotaciones ycomentarios no sólo sobre lo que se busca directamente, sino también sobre las circunstancias en que estoshechos se producen, lo que puede ofrecer una información rica y valiosa en la interpretación de los datosrecogidos.Para garantizar la fiabilidad y la validez de los datos recogidos en la entrevista es conveniente que tengamos encuenta una serie de aspectos fundamentales para esta técnica, como son:

La entrevista supone una relación humana, por tanto, debemos conseguir una comunicación abierta,espontánea, positiva y libre de tensiones. Ello exige alcanzar un alto nivel de “empatía”.

El contenido de la entrevista, partimos de la base que los sujetos no poseen la misma preparación paracontestar temas complejos ni el mismo nivel de implicación en el tema analizado.

Es preciso elegir el tipo de preguntas y respuestas más apropiado, la formulación clara y concisa de lascuestiones, su estructura y contenidos. Además de garantizar la libertad del entrevistador.

El registro de las respuestas debe ofrecer garantías de la fidelidad de las expresiones manifestadas por lossujetos, evitando interpretaciones sesgadas. Disponemos de diversos recursos materiales y audiovisuales.

La categorización y valoración de la información recibida, permite identificar todas las categorías de larealidad analizada y que éstas sean mutuamente excluyentes.

En la clasificación de la entrevista se suele diferenciar entre la estructurada o tipificada y la no estructurada oflexible. Nos vamos a centrar en la primera modalidad, dejando la segunda para el otro apartado (cualitativo).La entrevista estructurada es aquella que emplea un protocolo previo de preguntas de alternativa fija o bien devarias alternativas de repuesta para que el sujeto elija la más apropiada. En realidad se trata de un interrogatorioen el que las preguntas se formulan en el mismo orden y con los mismos términos. Tanto las preguntas como lasrespuestas suelen ser cerradas. Su principal inconveniente se encuentra en la falta de flexibilidad.Si tomamos en consideración el número de participantes podemos diferenciar entre la entrevista individual y laentrevista en grupo. En líneas generales la realización de la entrevista lleva consigo una serie de pasos, entre losque destacamos:1. Identificar con claridad cuáles son los objetivos que se pretenden alcanzar con entrevista2. Elegir la modalidad de entrevista más apropiada a las características de los sujetos y la propuesta del trabajo.3. Seleccionar los sujetos que van a ser objeto de estudio.

4. Realizar operativamente la entrevista que constituye la parte fundamental de la técnica: Forma de las preguntas, el entrevistador debe fijar los contenidos y el número de cuestiones planteadas,

así como su presentación. Orden de presentación de las preguntas (las preguntas más complejas y controvertidas en los momentos

intermedios o finales, donde ya se ha creado el adecuado rapport y un interés manifiesto) Cuidar de forma especial la relación de ambos, creando un clima de confianza y cooperación entre ellos Formular preguntas directas que sirvan de estímulo al entrevistado, que sean inteligibles y no admitan

varias interpretaciones. Registrar adecuadamente la información para garantizar su posterior análisis, sin resumir ni interpretar

previamente.En consecuencia podemos indicar que la entrevista estructurada se configura como un medio rico y valioso derecogida de información. Es preciso cuidar los aspectos técnicos de la misma como son la fiabilidad y la validez.Resulta una técnica costosa en tiempo, dada la exclusividad del entrevistado, como contrapartida nos ofrece unainformación exhaustiva y en profundidad de los personajes que son clave en la investigación evaluativa. Seráespecialmente recomendado su uso en aquellos momentos puntuales en que se precise recabar informacióncualificada y de primera mano, sobre todo en el marco contextual y el de la ejecución.

5.1.2. La encuestaLa encuesta es una de las técnicas a las que más se suele recurrir en la investigación en educación. Consiste en unrepertorio de preguntas que se formulan a una muestra de los sujetos. Se utiliza para recoger la opinión y lavaloración de una muestra representativa de los usuarios del programa o de la institución.El instrumento lo llamamos cuestionario. Puede administrarse de forma individual o en grupo, presencialmente omediante el correo. Apenas existe relación entre los sujetos que contestan y la persona que los administra.Mediante el cuestionario podemos describir, clasificar, confirmar, establecer relaciones de lo que opinan, sienten,creen, valoran, piensan los individuos sobre un determinado hecho o fenómeno educativo, además de sucomportamiento ante situaciones concretas que se plantean en la vida real.En el proceso de elaboración del cuestionario, se deben tener en cuenta una serie de aspectos: los objetivos quese pretenden alcanzar, el tipo de contenidos que deseamos obtener, la modalidad de preguntas y respuestas, laredacción clara y concisa de las mismas. Ahora bien, estas directrices generales se deben completar con unassugerencias prácticas de especial interés como:

El contenido se suele dirigir hacia dos grandes campos, uno configurado por las cuestiones relativas a laidentificación de los sujetos y otro constituido por sus opiniones, hechos y actitudes de los sujetos.

Las preguntas y respuestas, pues la formulación de las primeras condiciona las segundas. La forma de recoger la información, debe garantizar la fidelidad y precisión de los datos recogidos.

Una vez elaborado el cuestionario, se debe proceder a su aplicación piloto en una muestra reducida de sujetos.La utilidad principal de los datos aportados por esta aplicación será poder determinar la fiabilidad y la validez ynos van a permitir una depuración del cuestionario, tanto en los aspectos formales como en los referidos alcontenido, para así proceder a la redacción definitiva del mismo.

5.1.3. La observación sistemáticaEl observador contempla la realidad sin actuar sobre ella, registra hechos o fenómenos tal y como se estánproduciendo en un momento determinado. Para Selltiz y otros (1980) la observación se convierte en una técnicacientífica cuando sirve a un objetivo de investigación previamente formulado, se planea de forma sistemática, seregistra sistemáticamente, se relaciona con proposiciones más generales y se somete a comprobaciones ycontroles sobre su validez y fiabilidad. De Ketele (1995) la define como aquél proceso que requiere atenciónvoluntaria e inteligencia, orientado por un objetivo terminal y organizador, dirigido hacia un objeto con el fin deobtener información valiosa para los objetivos fijados.Así pues, la intencionalidad es una de las características básicas. En primer lugar debemos tener perfectamentedelimitado el campo de la observación lo que se traduce operativamente en lo que llamamos guión de laobservación. En segundo lugar se nos plantea cómo observar, bien con presencia directa del observador, bienrecurriendo a diversos recursos audiovisuales y de registro de la actividad. En tercer lugar tendríamos que definirquién debe llevar a cabo esta tarea.Los criterios de tipo metodológico según las directrices de Anguera (1993) y Rincón y otros (1995), son:

Los objetivos de la observación deben estar definidos con claridad. La estrategia puede ser inductiva o deductiva, según parta de los hechos o se apoye en un marco teórico.

El tipo de observación elegido puede ser directo (predomina lo descriptivo) o indirecto (conductasencubiertas que precisan de la inferencia por lo que llevan consigo una carga interpretativa).

El nivel de sistematización, desde el máximo hasta el no-sistematizado. El grado de participación del observador, que genera la observación no participante, participante y auto-

observación. Los niveles de descripción de las unidades de conducta, que lleva consigo la elección de uno o varios

criterios base para generar unidades moleculares, molares y mixtas. El contenido de la conducta a observar que puede ser de naturaleza no verbal, espacial, vocal y verbal. Los sesgos o dificultades específicas que puede plantear en un momento dado del proceso La formación y competencia profesional del observador, que requiere de habilidades específicas.

Además, unido a la intencionalidad, cabe resaltar la estructuración y la vinculación a unos determinadospresupuestos teóricos y ser realizada con orden y método apropiado.El esfuerzo para la sistematización de la observación corresponde a los miembros del equipo evaluador, dado queson los que mejor conocen los programas de intervención y el diseño de la evaluación. Por tanto, se requierenobservadores expertos, que sean ajenos a la realidad del programa, es decir, es básico que el observador sea noparticipante, para evitar los efectos de la interacción. En la investigación evaluativa tiene suma importancia elcontexto o lugar donde se desarrolla la misma, observación natural (recoge datos donde se está implantando) y laartificial (alejada del medio natural donde se pretende replicar las condiciones del mismo).Existen diferentes formas de registro de la observación: el anecdotario que registra comportamientos que seproducen en el contexto; las notas de campo recogidas en el escenario de la observación que pueden ser de tipopersonal, descriptivas, inferenciales; las listas de operaciones o rasgos en las que se constata su presencia oausencia en un momento puntual; las escalas de estimación que añaden una valoración en intensidad del rasgo aestudiar, pueden ser de tipo numérico, gráfico o descriptivo; las categorías nos permiten analizar la inclusión delos distintos elementos de cada una de ellas de modo excluyente.Como señalan los expertos la fiabilidad constituye una condición “sine qua non” de la metodología observacional.En este caso se identifica con el grado de acuerdo producido entre los observadores independientes, es decir, enqué medida las observaciones no tienen errores. Mientras que la validez se refiere al grado en que las medicionesobtenidas hacen una descripción real de lo que se pretende evaluar.

5.1.4. Los autoinformes (también se recoge en el tema 13)Los autoinformes nos presentan la ventaja de la accesibilidad a un mayor número de elementos con un menoresfuerzo debido a que no es precisa la interacción sujeto a sujeto. Además presenta un grado de especificaciónque no alcanza la encuesta, es decir, el autoinforme ayuda a recabar información más profunda sobredeterminados aspectos del programa, en cambio no se dirige a un número tan elevado de personas.El grupo que mejor puede responder a esta técnica es el de los usuarios, pues han ido percibiendo y viviendo loscambios que se han producido en su vida gracias a esa intervención. No obstante, debemos ser conscientes de lasubjetividad de estas aportaciones, que nos interesa expresar en términos cuantitativos. Ello se puede solventar através de indicadores subjetivos sobre una serie de tópicos que se han señalado con anterioridad por elevaluador. No obstante, no es extraña la tendencia del usuario a informar con un sesgo positivo hacia elprograma para no dejar en mal lugar a los responsables y evitar posibles represalias. Se puede recurrir a laconfidencialidad y el anonimato e informar de la importancia de una buena crítica constructiva.Para la recogida de información se suele utilizar el cuestionario que aporta escalas valorativas en la mayor partede los elementos que lo configuran.

5.1.5. Otras formas de recogida de informaciónEn este último apartado referido al enfoque cuantitativo solamente haremos referencia a los datos de archivoque proceden de las denominadas fuentes documentales y a la utilización de los indicadores.Respecto a los datos de archivo nos pueden suministrar información sobre la posición de los implicados antes deiniciar la intervención en alguna de las variables relevantes del estudio, además de la consulta a la documentaciónescrita del programa que aporte el evaluador. Se reconoce la existencia de dos tipos de documentos: oficiales ypersonales; en la investigación evaluativa nos interesan los segundos.En cuanto a la utilización de indicadores, es muy recomendable su uso en alguno de los momentos del procesoevaluador en que se aspira a alcanzar la máxima objetividad de los datos. Teniendo en cuenta que el indicador esuna medida estadística que permite analizar una realidad social desde un punto de vista diacrónico para reflejarsu evolución y desarrollo. Se puede establecer una distinción entre los indicadores descriptivos (recolección dedatos sin buscar relaciones entre los elementos) y los evaluativos o normativos (reflejan las relaciones producidas

en el pasado e intentan predecir si éstas se producirán en el futuro). Naturalmente en el campo de lainvestigación evaluativa son más utilizados los segundos que constituyen una herramienta. Los requisitosexigibles a los indicadores son: independencia, verificabilidad, validez y accesibilidad.

5.2. Técnicas de enfoque cualitativoLa utilización de las técnicas cualitativas en la investigación evaluativa ha sido muy posterior a las propuestas decorte cuantitativo, concretamente se podría situar a finales de los setenta y principios de los ochenta del pasadosiglo. Estos enfoques surgen como crítica a los modelos clásicos de evaluación en que se hacía especial incidenciasobre los resultados alcanzados. Por ello, se resalta la importancia de la evaluación del proceso, que permitiráaportar modificaciones en el desarrollo de la intervención educativa. El propio Scriven, sin desdeñar la evaluaciónsumativa o final, pone especial cuidado en la evaluación formativa.

5.2.1. La entrevista abierta o no estructuradaLa diferencia básica con la estructurada radica en los objetivos a alcanzar y, de forma especial, en la estructura yel aspecto formal. Su objetivo fundamental consiste en captar el mensaje del entrevistado sin ningún filtro previo.Por lo tanto, permite una mayor libertad a la iniciativa tanto del entrevistador como del entrevistado, laconversación facilita y estimula una expresión más libre y con respuestas no determinadas de antemano, dadoque las preguntas que se formulan suelen ser de tipo abierto y el entrevistado debe construir la respuesta.Requiere de una preparación más específica de los entrevistadores, además la información suministrada resultamás difícil de analizar. Dentro de esta propuesta podemos distinguir tres modalidades según el campo concretode la entrevista y su nivel de directividad:- Entrevista focalizada, es una modalidad muy técnica, que requiere del entrevistador una gran habilidad,experiencia y trato personal. Se parte de un listado de tópicos sobre los cuales se realiza la entrevista.- Entrevista clínica, la diferencia con la anterior está en que se dirige al campo de las motivaciones y sentimientosde los sujetos, con una finalidad eminentemente terapéutica.- Entrevista no dirigida, donde el problema de estudio actúa como catalizador. El entrevistador debe crear unaatmósfera facilitadora para que el sujeto pueda expresarse con total libertad.

5.2.2. Los grupos de discusiónSe trata de una técnica que nos permite acceder a imágenes colectivas y simbólicas cargadas de valor, queconfiguran actitudes, condicionan comportamientos y dan lugar a estados de opinión más o menos permanentes.Para Krueger (1991): un tipo de conversación debidamente planeada y diseñada para obtener información de uncampo concreto de interés, en un ambiente permisivo sin directividad.En el campo de la investigación evaluativa es una técnica muy útil que permite llegar a establecer acuerdos entrelos implicados en la misma, especialmente cuando se trata de los usuarios, sobre los efectos provocados por laintervención educativa.Para que su utilización pueda aportar datos de interés en los trabajos es necesario que se den una serie decondiciones:

El número de personas debe oscilar entre seis y diez, seleccionadas previamente. El coordinador ha de tener preparación técnica, conocimiento del tema y de la dinámica de grupos. Se contempla la figura del observador, que cumple los cometidos de apoyo, registro y observación. Las sesiones se deben grabar en medios tecnológicos sin descartar las notas manuscritas. La duración recomendada oscila entre los sesenta y noventa minutos como máximo.

Podemos establecer tres momentos claramente diferenciados: la preparación, previa a la discusión y donde seseleccionan los participantes, se realiza la convocatoria y el coordinador prepara el tema de debate; el desarrollodonde el coordinador introduce el tema, busca la confrontación de opiniones, establece un plan de trabajo parallegar a posibles consensos y modera la discusión; la interpretación y análisis de la información buscando tanto lomanifestado de forma abierta como aquello que permanece entre líneas o en interrogantes, pero que reflejan laopinión profunda del grupo.

5.2.3. La Observación participanteTambién se denomina observación activa, puesto que consiste en la participación directa del observador queasume diferentes roles en la vida del grupo, en su organización, conversando con todos los componentes, deforma que su presencia no perturbe ni interfiera el desarrollo natural de los acontecimientos. Así pues, se llega aconocer la vida del grupo desde el interior del mismo, ello significa que el observador además de ver lo que estáaconteciendo, lo siente y se integra en la situación o en el desarrollo del programa de intervención. Si el

observador pertenece al grupo que se investiga nos encontramos ante una participación natural; si solamente seintegra con el objetivo de llevar a cabo la investigación hablaremos de participación artificial.Otros aspectos a contemplar se refieren a la mayor o menor explicación de la finalidad de la observación a losparticipantes, el tiempo que se debe permanecer en el escenario natural y el grado de precisión con que serealiza, donde caben diversas opciones como la mera descripción, la focalización sobre un campo delimitado, laselección de conductas concretas y más representativas del comportamiento individual o grupal. En todo caso, esimportante cuidar su contextualización a nivel social y educativo, bien referido al propio acontecimiento, alfenómeno observado y al escenario donde tiene lugar el mismo.Para la recogida de información se recurre a los diarios, las notas de campo, el registro de incidentes críticos, laslistas de control, etc. Aunque la mejor forma sería mediante el empleo de los recursos audiovisuales, cuyautilización debe ser conocida por el grupo para evitar problemas de carácter ético.

5.2.4. La técnica Delphi (también se recoge una referencia en el tema 13)La técnica Delphi busca respuestas consensuadas de un grupo de expertos a una serie de cuestiones específicas,por ello se utiliza para determinar el alcance y la pertinencia del problema que origina el programa deintervención. Así se ocupa de las necesidades de los colectivos y de los objetivos que pretenden alcanzar. Lossujetos que participan en el proceso de trabajo, generando ideas y ofreciendo sus aportaciones, no se comunicanverbalmente entre sí, por lo que desconocen la identidad de las opiniones expresadas.Esta técnica resulta especialmente recomendable en aquellas situaciones en que los sujetos se encuentren muydispersos geográficamente y existan problemas de relación entre los miembros del grupo. Además el anonimatode las opiniones evita la influencia de las respuestas de unos sujetos sobre otros, especialmente de los líderes degrupo que pueden condicionar las respuestas de los que les rodean.En lo que se refiere a la composición del grupo la mayor parte de los autores consultados estiman que debeoscilar entre diez y treinta sujetos. Además estos participantes deben poseer un buen nivel de conocimiento yexperiencia en el tema que se está analizando, por ello, en el caso concreto de la evaluación de programas serecomienda su uso con los gestores (técnicos y responsables), no con los usuarios, así es común encontrarnos conla denominación de grupo de expertos.Los agentes implicados en la técnica Delphi se pueden agrupar en dos categorías: el equipo de trabajo integradopor los directivos y técnicos conocedores de la problemática y de la metodología de trabajo y los informadoresclave, que son los sujetos que ofrecerán su opinión ante las diversas cuestiones planteadas.

6. POSIBILIDADES Y APLICACIONES AL CAMPO EDUCATIVOLa investigación evaluativa, contemplada dentro del campo de los “Métodos de Investigación en Educación”,desempeña un importante cometido en la formación académica del educador social, puesto que le va a permitirllevar a cabo una serie de estudios basados en el análisis de la realidad educativa y vinculados al campo de losprogramas educativos de intervención en la práctica docente, en la evaluación de las instituciones sociales yeducativas y la calidad de sus servicios, además de contemplar las tareas del profesional de la intervención y lanecesidad de abordar procesos sistemáticos para su evaluación, tanto desde una perspectiva formativa comosumativa.Entendemos que las posibilidades de esta alternativa metodológica son muy ricas y variadas, si bien, hemos dereconocer que aquellos profesionales que se planteen trabajos en estos campos deberán profundizar en losdiferentes apartados implicados en el proceso de la investigación evaluativa.En consecuencia las aplicaciones de la investigación evaluativa, vinculadas al campo educativo se puedenconcretar, entre otros, en los siguientes puntos:

Las intervenciones educativas con sujetos con necesidades educativas especiales y superdotados. El sistema educativo en su conjunto. Los proyectos sociales y educativos vinculados a la actividad profesional. Las instituciones sociales de los diferentes niveles de la sociedad. Los recursos empleados por los profesionales. La formación inicial y permanente del educador social. Las motivaciones y expectativas de los profesionales.

Todas estas consideraciones tratan de reflejar la importancia del tema ante la formación y la futura actividadprofesional y académica del educador social, puesto que su tarea, además de aquella vinculada directamente a laorientación e intervención en contextos sociales, puede ser la de asesor especialista en temas de investigación enlos centros e instituciones socio-educativas y de formación continua en diferentes esferas de actividad, en aras alograr unos buenos niveles de calidad en los servicios que se ofrecen a la comunidad.

TEMA 2. EVALUACIÓN: CONCEPTO Y FUNCIONES DE LA EVALUACIÓN

PEDAGÓGICA

1. Introducción.

Evaluación reconocida en la actualidad como herramienta puesta al servicio de

la realidad evaluada; en la educación poderoso instrumento cuya principal meta ha de

consistir en su contribución al logro de los objetivos planteados.

1.1.1 Educación y evaluación

Educación analizada desde muy diversas perspectivas. Frecuente su

consideración como resultado de proceso sistemático e intencional al servicio de

objetivo que confluyen en una finalidad general, unificadora y armonizadora de todos

ellos y que se traduce en educación integral.

Educación integral trasciende concepciones más limitadas y reductivas de

educación, como son aquellas que reducen campo de intervención de educadores en

transmisión y adquisición de conocimientos que Humanidad ha ido descubriendo y

elaborando.

Edu.integral abarca perfeccionamiento y mejora de todas las dimensiones

específicamente humanas para que nuevas generaciones puedan abordar, con razonables

posibilidades de éxito etc.….

Proceso educativo así concebido es complejo y duradero en el tiempo, requiere

actuación rigurosa, sistemática y planificada de amplio grupo de educadores a lo largo

de varias etapas como sustento y base de futuros procesos de autoeducación y educación

permanente.

En este largo proceso formativo confluyen actuaciones educativas de muy

diversa naturaleza: desde acercamiento al conocimiento de alumnos y del medio, propio

del diagnóstico o evaluación inicial, a constatación de resultados de intervención de

educadores y decisiones de mejora: diseño de programas, selección de medios y

recursos, uso adecuado de técnicas….

Preciso reconocer que forma de entender la acción educativa, diseño de planes y

programas o propia evaluación, difiere según cuáles sean teorías pedagógicas de quien

habla o escribe, lo mismo ocurre con evaluación.

2. Evolución del concepto de evaluación.

El concepto de evaluación el que más cambios ha sufrido, fruto del gran

enriquecimiento conceptual que ha venido experimentando.

Inicialmente evaluación fue actividad desempeñada por quienes se encontraban

en posición de poder, autoridad o superioridad sobre personas evaluadas, bien en cuanto

tales, bien en sus realizaciones. La evaluación ha servido, sirve y servirá para selección

de personas, para calificación de aprendizajes, para promoción dentro del sistema o para

certificación de titulaciones socialmente reconocidas.

Esta situación se ha concretado en clara función de control, en su discontinuidad

a pesar de continuidad de realidad evaluada, en su formalización al final de

determinados periodos de tiempo tras realización de actividades evaluadas, y en

asignación de juicios de valor a partir de criterios diversos, no siempre explícitos,

transparentes ni públicos y por lo general, desconocidos en momento en que se

desarrollan actividades y comportamientos que luego serán objeto de evaluación.

1.2.1 El salto cualitativo de la evaluación

Se produce cuando evaluación se le asigna, o se le reconoce, función de mejora,

función plenamente coherente con esencia de actos educativos: la educación es

actividad intencional y sistemática al servicio de mejora o perfeccionamiento de las

personas.

Función de mejor, propia de evolución conocida desde Scriven como formativa:

- ampliación de “objetos” evaluados, pasando a incorporar no sólo

enseñanza al lado de aprendizajes, sino todo conjunto de elementos que contribuyen al

aprendizaje: medios, contextos en se que lleva a cabo y hasta los educadores, medio

fundamental junto a actividades programadas al servicio de objetivos.

- ampliación de “sujetos” o evaluadores; no son sólo personas investidas

de poder o autoridad, sino todas aquellas que puedan aportar información relevante y

adecuada para promover mejoras, no debe sorprender que hasta alumnos puedan ser

evaluadores, no sólo de propias actividades y logros sino de actividad y resultados de

quienes son sus educadores.

- ampliación de los momentos: evaluación no se limita a momentos en

que algo ha concluido sino que se extiende a procesos, en que tales procesos pueden ser

objeto de mejora y en que, de su mejora, derivarán necesariamente mejoras en

productos o resultados.

- continuidad frente a discontinuidad: propio procesos educativos son

continuos, no es adecuado relegar actuación evaluadora al momento final de tales

procesos, sino que puede y debe realizarse en paralelo como sea posible a fin de extraer

máximos beneficios de la actividad.

1.2.2 Ampliación de los sujetos de evaluación

Desde perspectiva de evaluación con funciones de puro control parece no haber

dudas de que es actividad reservada a quien ocupa una posición de poder y autoridad.

Cuando función es la mejora (no excluye control) se abre abanico no ya de

informadores, sino de personas que pueden emitir juicios de valor, aunque el uso se de a

tales juicios pueda variar según situaciones.

Puede entenderse espinoso asunto de la evaluación del profesorado por parte de

alumnos y el de la autoevaluación o el de la coevaluación.

Evaluación del profesorado por parte del alumnado, no tiene sentido, en función

de lo que pudiéramos denominar efectos no planteados, si se traduce en sanciones

(positivas o negativas) para profesores. Estas consecuencias pueden alterar su

comportamiento docente y desde luego, el evaluador. Pocas valoraciones pueden ser tan

útiles para un profesor como aquellas que, de forma sincera y desinteresada, puedan

hacerle llegar a sus alumnos, el espejo natural de su actividad docente y educativa.

Aun en el caso de que estas valoraciones no respondan plenamente a la realidad,

no dejan de ser la percepción de esa realidad por destinatarios de la acción educativa del

profesor.

Por otro lado, en la medida en que evaluación representa notable potencial de

mejora, nada mejor que estimular en alumnos la internalización de actitud evaluadora,

que les permita llegar a conocerse, a aceptarse y plantearse metas realistas, en

consonancia con sus verdaderas posibilidades. Por otra parte, teniendo en cuenta

dimensión social de la persona, y dada la conveniencia, utilidad y necesidad de aprender

a realizarse, a convivir y trabajar en equipo, parece conveniente y necesario estimular

coevaluación y facilitar su aprendizaje.

Autoevaluación y coevaluación eminente sentido formativo: contribuyen a

adquisición por parte de educandos de ciertas habilidades de gran importancia y utilidad

para sus vidas. Otra cosa será el valor que se conceda a resultados de tales evaluaciones

a la hora de otorgar calificaciones académicas por parte del profesorado.

1.2.3 Ampliación de los momentos

Actuaciones orientadas al control, suelen concentrarse en momentos finales de

diversos procesos; en aquellos casos en que se efectúan controles durante propio

proceso, su sentido no es tanto el de mejora cuanto el de supervisión o vigilancia, por lo

que se realizan por lo general de forma no regular y previsible sino en momentos

inesperados y hasta por sorpresa.

Si la evaluación se orienta a la mejora, dado que esta se produce como

consecuencia de decisiones derivadas de propia evaluación, cuanto más ligadas a

procesos educativos, mejor.

No debe extrañar que se pueda hablar de evaluación de los procesos, además de

la clásica evaluación de resultados, ni que sea perfectamente posible, hasta

recomendable, hacerlo de una evolución inicial, previa procesos educativos, con

mentalidad netamente preventiva.

1.24 Una evaluación continua

Sólo alcanza su potencial de mejora cuando, además de tal continuidad, adquiere

naturaleza formativa o para la mejora.

Dado que proceso educativo es realidad prolongada en el tiempo, pero continua

y regular, conveniente que lleve asociada una acción evaluativa que permita tomar

decisiones, sean correctivas, potenciadoras o preventivas, con mayor inmediatez posible

a acontecimientos y al devenir de realidad evaluada, de la educación.

Eficacia de la evaluación alcanza mayores cotas, no es extraña actitud de ayuda

que representa y el impulso a unir procesos de enseñanza y aprendizaje, que cuando

evaluación no cumple estos requisitos, tienden a disociarse con frecuencia por parte del

alumnado.

3. Repercusiones para la evaluación educativa

Reconsideración conceptual de la evaluación, que puede quedar sintetizada y

hasta definida por tres objetivos: integral, integrada e integradora.

1.3.1 Evaluación integral

En la medida en que educación de calidad se plantea formación integral de las

personas, evaluación no puede resultar disfuncional, no puede sugerir a quienes en

determinados momentos son objeto de evaluación que ciertos objetivos son los que de

verdad, importan, mientras el resto sólo tienen presencia testimonial. Actuación tal

altera currículo al orientar esfuerzo y trabajo hacia aquellos objetivos que son objeto de

evaluación, dejando al resto en segundo plano.

Si educación integral representa necesidad de cultivar, promover, estimular y

favorecer logro de objetivos no sólo cognoscitivos y hasta cognitivos, sino afectivos,

sociales, morales, estéticos y hasta religiosos, evaluación no puede centrarse en los dos

primeros ni, mucho menos, como investigación revela, en los cognoscitivos. La

posición reduccionista lleva en muchas ocasiones a limitar la atención, dentro de estos,

a los de las categorías inferiores de las taxonomías.

En la medida que la educación se pone al servicio de mejora de la persona, nada

mejor que acudir a autoevaluación como medio de promover capacidad de

metacognición, toma de conciencia de propias posibilidades y limitaciones, aceptación

de sí mismo y compromiso autónomo y libre con determinadas metas libre y

autónomamente seleccionadas y asumidas.

1.3.2 Evaluación integrada

Carácter formativo a evaluación hace de ella actividad en perfecta sintonía y

armonía educativa; no cabe por tanto que la evaluación sea actuación añadida, al

servicio de finalidades o funciones no educativas.

Integración armónica de la evaluación con actividad educativa la convierte en un

medio más, junto al resto de los programados, diseñados y desarrollados por

profesorado y demás responsables de programas para alcanzar objetivos de sus

programas. Incluso evaluación sumativa puede formalizarse y extraerse de ella

conclusiones pertinentes para mejora del aprendizaje, enseñanza y propio profesor,

educador o formador.

No es extraño conceder a evaluación papel de diagnóstico a la hora de asignar

programas o de diseñar actuaciones correctivas o de mejora.

1.3.3 Evaluación integradora

La evaluación responde a anteriores características, se convierte en realidad que

juega papel activo, como el que suele corresponderle cuando se limita a emitir juicios de

valor sobre resultados alcanzados.

Dinamiza actuaciones de profesores y alumnos, promueve reflexión, análisis y

autocrítica, fomenta innovación y estimula deseo de mejora continua, base de cualquier

actuación pedagógica de calidad.

Evaluación viene a decidir verdadero currículo de la institución educativa, tanto

en relación con lo que se enseña y aprende como en lo relativo a perspectiva o enfoque

(objetivos) de tales enseñanza y aprendizaje. Profesores hacen saber a los alumnos lo

que consideran más importante, y hacia esa dirección se encaminan decididamente los

esfuerzos y el trabajo de su alumnado.

4. Nuestro concepto de evaluación

Evaluación pedagógica: valoración, a partir de criterios y de referencias

preespecificadas, de la información técnicamente diseñada y sistemáticamente recogida

y organizada, sobre cuantos factores relevantes integran procesos educativos para

facilitar toma de decisiones de mejora.

1.4.1 Los momentos o etapas

Evaluación en sí misma, sea en su función de control sea de mejora, es actividad

técnica de carácter instrumental, viene a representar su subordinación a la realidad a la

que sirve.

Concepto de evaluación pedagógica:

FUNCIÓN ESENCIAL: LA MEJORA

MOMENTOS ELEMENTOS

Previo Los objetivos:

- del objeto evaluado

- del propio sistema de evaluación

Núcleo de la evaluación Recogida de información

Valoración de la información.

- criterios

- referencias

Toma de decisiones orientadas a la mejora

(planes).

Posterior Seguimiento de los planes de mejora.

En el denominado momento previo en el que situamos los objetivos como

elemento directriz. Los objetivos de la realidad evaluada, se tratan de objetivos del

Proyecto educativo, del programa o aprendizaje de los educandos, que deciden en

primera instancia sobre calidad de la evaluación.

La evaluación es de calidad si resulta coherente, adecuada y armónica con tales

objetivos, lo que no asegura calidad de estos, cuya valoración tiene que ver con

fundamentos de tales proyectos y programas.

La evaluación puede ser de calidad al servicio de objetivos irrelevantes o

inadecuados, y que caben objetivos cualitativamente elevados, completos, dignos y un

planteamiento evaluativo carente de calidad.

Este planteamiento sirve tanto a evaluación en funciones de control como a

aquella que se orienta a la mejora. No parece difícil argumentar que la exigencia debe

ser mayor. Si en el primero cualquier evaluación que no resulte incoherente con

objetivos puede aceptarse como adecuada para apreciar si se están logrando metas

previstas, en el segundo se debe ser más exigente dado que no cualquier tipo de

información va a permitir decisiones de mejora. Esto lo apreciaremos mejor al hablar de

la recogida de información.

Momento posterior, fácil argumentar su necesidad. Mayoría de decisiones

derivadas de evaluación representan planes de naturaleza más o menos compleja que

necesitan de suficiente tiempo para dar sus frutos. En cuanto planes, pueden haberse

diseñado adecuadamente o no; incluso si se diseñaron correctamente, no está

garantizada su eficacia, dado que pueden surgir circunstancias imprevistas que pueden

dar al traste con mejor de las previsiones.

1.4.2 El núcleo de la evaluación

Nevo habla de cuatro grandes funciones: sumativa, formativa, sociopolítica y

administrativa. Todas tienen su sentido y utilidad y en la medida en que se acuda a ellas

para finalidad que les es propia, deben ser tenidas en buena consideración.

Caso del profesorado y diversos formadores, parece claro que función que le es

propia es formativa, dad su coherencia con naturaleza misma de acto educativo.

Evidente que profesorado realiza con mucha frecuencia evaluaciones de tipo sumativo,

dejar constancia de que está ejerciendo una evaluación que no está intrínsecamente

ligada a naturaleza de su profesión, sino resultante de una delegación social: dar fe ante

comunidad de niveles de aprendizaje de alumnos o de eficacia de programas, como

forma de responder a inversiones en educación.

En definitiva: mantenemos posición de que la función esencial de la evaluación

pedagógica es la formativa, la destinada a la mejora.

Los tres elementos integrantes del núcleo de la evaluación:

• La información: no hay evaluación mejor que la información en que se

base. Siempre hay que partir de este elemento: información disponible o recogida ex

profeso, que es, en la práctica, algo así como cimientos de todo edificio de la

evaluación.

Los objetivos de una educación de calidad son tan amplios, tan variados,

complejos, no deberíamos limitar recogida de información a uno o varios sino a toda la

tipología y variedad de los mismos.

Si se tiene en cuenta que cada tipo de objetivos necesita de técnicas específicas

adecuadas, cualquier reduccionismo en este punto, aparentemente inocuo por ser

claramente cuestión técnica, puede tener consecuencias muy negativas.

Es fácil comprender que no se enseña, ni se evalúa, del mismo modo a calcular

que a razonar, comprender que a valorar, a analizar que a relacionar, a observar que a

clasificar, a resolver problemas que a argumentar….. cualquier planteamiento sesgado

en las técnicas, cualquier falta de armonía entre objetivo y técnica para valorarlo,

conduce, al abandono de aquel, dada tendencia reconocida de estudiantes a orientar su

trabajo hacia objetivos que destaca el educador mediante pruebas que utiliza.

Caso más evidente: objetivos de expresión oral, normalmente relegados a

segundo plano en enseñanza y casi por completo olvidados en evaluación.

Junto con exigencia de armonía y coherencia entre objetivos a evaluar y técnicas

para recoger información pertinente, preciso reseñar cuestión de tipo técnico. Aludimos

a la necesidad de que instrumentos en que toma cuerpo la evaluación sean fiables y

válidos, ofreciendo información útil y valiosa, lo que implica decisiones y actuaciones

técnicas destinadas a lograrlo.

La información a recoger no siempre debe serlo a través de pruebas. Educadores

tienen a su disposición formas muy variadas de apreciar progreso y logros de los

alumnos, desde observación a las actividades del aula, pasando por análisis de sus

trabajos o preguntas e intervenciones que tienen lugar en proceso ordinario de

aprendizaje.

Conclusión: necesario asegurar coherencia entre naturaleza de objetivos,

metodología y actividades durante proceso de enseñanza-aprendizaje y técnicas e

instrumentos utilizados en la evaluación, con el fin de que ninguno de aquellos quede

olvidado y de este modo, alterado el currículo de la institución.

• La valoración: sin información de claridad no es posible evaluación de calidad.

La mera información por sistemática y técnicamente correcta que sea, no es, todavía,

evaluación.

Para hablar de evaluación debemos valorar información recogida, ello implica

contar con criterios y referencias. Deben estar especificados de antemano, tanto para

dirigir actividad de educadores como para orientar la de los alumnos.

En efecto: criterios y referencias deben estar especificados incluso en momento

de planificación de la actividad educativa, en diseño de programa, además, han de darse

a conocer para evitar que actividad de sus destinatarios, los alumnos, su esfuerzo

personal, pueda resultar poco fructífero como consecuencia de orientarlo en dirección

inadecuada.

Criterios de evaluación permiten atribuir valor, valorar en definitiva, trabajos,

actividades, comportamientos o las pruebas que deban realizar destinatarios del

programa, realizados bien en marco ordinario de la enseñanza/aprendizaje bien en el

específico de la evaluación.

Forma fundamental de valorar con criterios una producción realizada por

destinatarios del programa tiene que ver con naturaleza misma del objetivo que está

siendo evaluado.

Lo que denominados como criterios, esto es, normas o reglas que permiten

asignar valor a la realidad evaluada. Criterios deberían estar fijados en el diseño del

programa, del que forma parte la propia evaluación; de no ser así; debería hacerlo el

evaluador, teniendo en cuenta naturaleza de la realidad evaluada.

La fijación de criterios y su publicidad ayuda tanto a llevar a cabo valoraciones

con mayor grado de objetividad como a orientar las decisiones que deban tomarse de

cara a la mejora.

Si criterios ayudan a valorar más objetivamente información recogida,

facilitando equidad de las calificaciones y su comparabilidad, las referencias hacen

posible juicios globales sobre realidad evaluada.

Se deben contar con referencias concretas, y fundamentalmente se puede acudir

a tres:

1. referencia normativa: una puntuación concreta se pone en relación con

continuo de puntuaciones obtenidas por las de sujetos de la misma clase. Las

puntuaciones que sirven de referencia constituyen baremo, que no es sino regla que

permite la interpretación.

2. Referencia criterial: diseñadores del programa deben establecer con la debida

precisión serie de metas que deben ser superadas por alumnos para alcanzar evaluación

positiva. Como señala Popham, evaluación criterial sitúa a un alumno en relación con

dominio de conducta perfectamente definido. Quienes alcanzan el criterio pasan, esto

es, alcanzan a valoración positiva. Quienes no llegan, no pasan, y deben trabajar de

nuevo para conseguirlo.

La valoración es absoluta: fijado el criterio, se llega o no.

3. Referencia personalizada: lo que se plantea es valoración de la información

tomando como referencia propia persona, situación que puede tomar modalidades

diferentes.

Cabe apreciar si se da o no progreso o superación con respecto a situaciones

anteriores; o cabe hacer apreciaciones sobre si lo alcanzado está en relación con

posibilidades y limitaciones de cada uno, atendiendo a sus características y

circunstancias personales, familiares y sociales.

Evaluación personalizada especial importancia en primeras etapas educativas

también puede utilizarse con carácter complementario en niveles posteriores.

Aunque calificación represente fracaso (suspenso) valoración personalizada

supone posibilidad de reconocer al alumno su esfuerzo para que pueda apreciar que se

tienen en cuenta su situación.

La referencia personalizada aplicada al alumnado tiene equivalente cuando se

aplica a programas o instituciones. Puede denominarse idiosincrática, consiste en

valorar el programa o centro educativo teniendo en cuenta su contexto, situación,

características…. Lo que se hace es apreciar si programa ha mejorado en relación con

aplicaciones anteriores o si institución o centro educativo se viene superando tomando

como referencia su propio historial.

• La toma de decisiones: necesidad e importancia de este componente de nuestro

concepto. Con frecuencia nos encontramos ante juicios de valor (evaluaciones) que se

quedan en ello, bien porque son puras apreciaciones bien porque a quien las emite sólo

se le pide tal juicio, generalmente experto, dejando el resto en manos de quien lo

solicitó.

Ejemplos: primer tipo, múltiples situaciones de la vida ordinaria: cuando vamos

al cine, vemos una exposición, nos presentan a una persona…. El segundo tipo las

tenemos cuando acudimos a personas expertas: para que nos tasen un piso, nos orienten

sobre calidad y precio de una joya…. Nos dan su opinión valorativa y con ella, acaba su

tarea. No parece que esperemos eso mismo de un médico: cuando nos diagnostica que

tenemos gripe esperamos de inmediato un tratamiento con el que curar la enfermedad.

Parece fácil argumentar que situación de educadores y profesores está más cerca

del médico que del tasador de joyas. En definitiva: que la evaluación no puede quedar

en un mero juicio de valor sino que este debe ser el fundamento de las acciones

pedagógicas posteriores. Son estas decisiones las que dan sentido pedagógico a la

evaluación, pues es en ella y no en la mera información valorada en las que se reconoce

el profesor, educador, formador. Su función no es la de juzgar sino la de contribuir a

mejora, educar, a los alumnos y en general, a destinatarios del programa de que se trate.

Decisiones revierten sobre los objetivos, dándolos por superados bien incidiendo

con nuevos medios y planes para su logro.

Estas decisiones con frecuencia, no producen cambio inmediato, ni siquiera

estamos seguros de que darán lugar a cambios deseados. Pueden aparecer circunstancias

no previstas ni previsibles y alterar realidad. De ahí ese momento posterior al que nos

hemos referido, entendido como seguimiento de los planes de mejora.

1.4.3 Institucionalización de la evaluación

La evaluación a la que nos referimos no es una actuación que se realiza por una

sola vez, sino una actuación que, dado su servicio a la mejora (de la persona,

profesionales, programas…) debe integrarse en conjunto de actividad educativa.

La evaluación se debe inscribir como proceso continuo y armónico con realidad

educativa, de forma que tradicionales denominaciones de evaluación inicial, continua y

final dejan de tener sentido que se les suele atribuir: la evaluación fina de ciclo

evaluador sirve de base para nuevo ciclo educativo y así sucesivamente.

5. Evaluación y mejora

Término mejora unido sistemáticamente al de evaluación porque hemos

concedido a evaluación carácter instrumental o de herramienta o esencia no es sino la

mejora de las personas y de cuanto contribuye a ello: educadores, centros,

organizaciones, materiales etc.…

Implicaciones de esta tan reiterada relación:

1.5.1 Precisiones conceptuales

Establecer vinculación entre evaluación y mejora nos obliga a reflexionar sobre

alcance de ambos conceptos.

Mejorar es : “hacer una cosa mejor de lo que era” y también superarla, esto es,

lograr metas más amplias, ricas o profundas. Un atleta mejora su registro personal; un

país eleva su renta per capita …. En todos estos casos se están produciendo mejoras.

La mejora de los resultados es la meta directa a lograr; optimizar los sistemas

aludidos es el medio para conseguirlo. Llevar a cabo actuaciones específicas para

mejorar la técnica, el control, gestión, coordinación… implica saber qué es ahí

precisamente donde hay que incidir, porque es en tales puntos donde se dan

deficiencias, carencias o actuaciones inadecuadas.

Mejoras se establecen en relación con algún tipo de referencia. En casos

anteriores la referencia proviene de registros previamente establecidos para el atleta, el

país…. Estaríamos en el marco de la denominada referencia personalizada o

idiosincrática a la aludida en el concepto de evaluación.

La mejora es anhelo común a todos los seres humanos: así lo reconoce Yela al

hablar de necesidad radical dentro de su propuesta sobre necesidades básicas; o Maslow

cuando se refiere a autorrealización en ese mismo contexto.

Por el hecho de incardinarse en lo profundo del ser humano, la mejora o

perfeccionamiento es la esencia de todo acto educativo: seres humanos llegan al mundo

en una situación de total dependencia y en estado inacabado, algo que les permitirá

mayor recorrido en su proceso de hacerse plenamente personas que al resto de los seres

vivos.

Pero para ese hacerse personas, para ese ir superándose y mejorando, resulta

necesario y de gran utilidad el apoyo, ayuda, orientación de sus semejantes ya

desarrollados: acción sistemática perfectiva que es la educación.

La educación, como acción sistemática que es se concreta en proyectos y

programas. Estos programas se caracterizan por su enorme complejidad y por

dificultades que se deben superar para ir de las necesidades, carencias y demandas a los

resultados.

Ante tal complejidad y ante dificultad para llegar a buen puerto los programas,

aparece la evaluación como actividad técnica capaz de ayudar al logro de objetivos a la

vez que mejorar técnicamente programas para que sus resultados sean mejores a través

de optimización de todos y cada no de sus elementos.

Incidir en doble perspectiva: evaluación ayuda a conseguir objetivos, pero

también contribuye a mejora técnica del programa para que sea más eficaz, eficiente y

satisfacción.

1.5.2 La mejora: cuestión de actitud y de información

Dos son las razones que explican esta importante contribución de la evaluación:

a. de carácter técnico concretada en la información que aporta.

b. De naturaleza actitudinal, encarnada en predisposición de personas a

implicarse en sus actuaciones y en sus consecuencias.

1.5.2.1 La actitud

Condición básica para emprender mejoras consiste en asumir cualquier realidad,

en nuestro caso el programa, por bien realizado que esté, siempre podrá ser mejorada.

Esta actitud, que implica notable carga de humildad y disposición a asumir

responsabilidades, no siempre se da entre personas: hay quienes conviven sin problemas

con la chapuza o quienes, una vez alcanzado un mínimo, no sienten deseos nii necesidad

de superarlo.

Puede darse situación más negativa: la de quienes suelen ver cosas mal pero

sitúan fuera de su ámbito de responsabilidades las causas de tal realidad: son los otros, o

fuerzas ajenas como el azar o casualidad, causantes de lo que va mal.

Actitud evaluadora no se corresponde con ninguna de las dos situaciones

anteriores: se valoran realidades de modo realista, reconociendo que hay aspectos

positivos o puntos fuertes, también se encuentran puntos débiles.

Poseer esa actitud de mejora como cualquier actitud positiva, implica

predisposición favorable, predisposición que facilita implicación personal en cuantas

acciones de mejora deriven del proceso evaluador.

Esta actitud positiva, de superación, enlaza con necesidades del ser humano y

con esencia de actos educativos, como García Hoz señala: “sólo bien hecho educa”,

propone modelo de actuación al que denomina Sistema de la Obra Bien Hecha, que

debe cumplir:

- bien ideada

- bien preparada

- bien realizada

- bien acabada

- bien valorada

1.5.2.2 La información aportada

Actitud de por sí sola no basta. Muchas buenas intenciones terminan en nada o

dan lugar a consecuencias indeseables o poco eficaces. Se debe a que no se cuenta con

elementos necesarios para que esa positiva disposición dé frutos también positivos.

Esta puede ser la gran aportación técnica de la evaluación: proporcionar a quien

corresponda, en particular a quienes tienen responsabilidades en el programa, o a

quienes deben tomar decisiones a partir del mismo, la información adecuada y

suficiente para que estas sean eficaces. Aquí donde aparecen cuestiones técnicas que

permiten, dificultan o impiden disponer de una información de esta naturaleza.

1.5.3 La información necesaria

Iniciales modelos evaluativos se centraban en constatación del grado de eficacia

de programas, para lo cual se ponían en relación objetivos formulados con resultados

alcanzados.

Evidente que información de esta naturaleza resulta útil para tomar decisiones

como las de mantener o retirar programa en función de sus niveles de eficacia. Si al

plantear programa se han establecido unos niveles de logro, evaluación se limita a

establecer si tales niveles se han alcanzado o no, y ello en general o para diversos tipos

de objetivos.

Este tipo de evaluación es difícil y complejo ya que implica selección de

técnicas adecuadas, construcción de instrumentos necesarios con debida fiabilidad y

validez, recogida de información, su tratamiento análisis y elaboración de oportunas

conclusiones.

Esta dificultad se acrecienta cuando de lo que se trata es de promover mejora del

programa y como consecuencia, la de sus resultados. No basta saber si se alcanzaron o

no objetivos y en qué medida, sino que es preciso contar con información suficiente

como para tomar decisiones pertinentes.

Tal información recorre todos y cada uno de los componentes del programa,

desde actuaciones tendentes a identificar y delimitar carencias y necesidades a las que

pretende dar debida respuesta el programa resultados alcanzados en diversos tipos de

objetivos, pasando por formulación y diseño del programa y su implantación e

implementación, sin olvidar cada elemento técnico.

En primer lugar, no basta conocer grado de logro de objetivos, es preciso

identificar esta información atendiendo a su tipología. En efecto: no es lo mismo que un

programa sea ineficaz para objetivos de tipo cognoscitivo, cognitivo, actitudinal o de

comportamientos; acciones precisas para modificar la situación, para mejorarla, son

muy diferentes.

La naturaleza de carencias e insuficiencias detectadas al valorar eficacia del

programa nos sitúan ante procesos diferentes, que podrían haber sido mal o

inadecuadamente diseñados, ejecutados o evaluados. Bien podría ocurrir que esos

procesos, adecuada o inadecuadamente diseñados, ejecutados o evaluados, hayan

contado o no con medios o recursos necesarios y suficientes, durante tiempo necesario.

Y que se hayan llevado a cabo en ambientes favorables, indiferentes u hostiles…

Tales procesos responden a objetivos, traducción de unas necesidades, carencias,

expectativas o demandas de destinatarios y de otras personas o grupos interesados. Este

proceso de transformación ha podido ser realizado de forma correcta y adecuada o no.

Cuando la meta de la evaluación es la mejora, toda esta información es necesaria

para que decisiones que se tomen puedan llegar a ser efectivas y eficaces. Esta

información puede haberse ido acumulando, mediante proceso de documentación de

actuaciones, a la espera de una evaluación final, para incorporarlas al informe realizado

por evaluadores, por lo general externos, o bien, irse llevando a cabo con el fin de tomar

sobre la marcha y a tiempo las decisiones precisas para asegurar que resultados sean los

esperados. En este segundo sentido, evaluación se convierte en medio excelente para

mejora de programas y de su eficacia final.

1

Tema 3

La información: técnicas e instrumentos.

Criterios y Referencias para evaluar.

#-Información y datos en el marco de la evaluación: Dado el carácter instrumental de laevaluación, este momento nuclear debe valorarse en relación con el primero de losmomentos, en el que aparecen los objetivos como elemento rector y directriz de los procesoseducativos.

La armonía y la coherencia entre objetivos educativos y sistema de evaluación se conviertenasí en criterio básico de la calidad de la evaluación, algo que debe ser tenido siempre en mentetanto al diseñar programas como al implantarlos, implementarlos y evaluarlos.

a) La calidad de los objetivos, Michael Scriven, se considera necesario someter aevaluación no solo los procesos y los resultados sino los propios objetivos a cuyoservicio se diseñan los programas. Las fuentes a las que podemos acudir para lapertinente recogida de información son dos las principales: los expertos y losdestinatarios. El análisis de la calidad de los objetivos del programa puede serrealizado por personas expertas en el ámbito específico del programa, los expertostambién pueden manifestarse sobre otra importante cuestión: los objetivos no solotienen que ser de calidad, sino que deben estar bien formulados tanto desde laperspectiva de quienes han de aplicar el programa como de quienes serán susdestinatarios.Los objetivos también pueden ser analizados por los propiosdestinatarios, sean los destinatarios directos del programa sean los beneficiariosindirectos del mismo.

b) Diversidad y complejidad de los objetivos de los programas educativos, los objetivosque guían los programas educativos en sus diversas modalidades se suelen caracterizarpor dos importantes notas: su gran diversidad y su elevada complejidad. Desde elpunto de vista de la información a recoger, conviene tener siempre presente lanaturaleza específica de los objetivos del programa y junto a ello, los elementosimplicados en su logro. Imprescindible necesidad de armonía y coherencia entre losobjetivos del programa y la información que se recoge para ser valorada.

c) De los objetivos a la información, la definición clara y precisa de las manifestacionesque se tomaran como evidencia del logro de los objetivos es una tarea fundamental dela evaluación que contribuye tanto a la validez como a la fiabilidad de la información.

d) Planificación de la recogida de información, en el proceso de evaluación de programas,la información se constituye en el fundamento y el soporte de una buena evaluación,la evaluación nunca podrá ser mejor que la información en que se fundamente. Lascaracterísticas de la evaluación pueden aconsejar una recogida de información enúnico momento o en momentos diferentes, para disponer de información especificade cada momento o para complementar y contrastar la información recogida.

#- Técnicas para la recogida de información: La información es preciso captarla, construirla oproducirla y esto implica por lo general acudir a determinadas técnicas:

2

a) Técnicas de observación, la información recogida por este medio no debería ser casualsino responder a un plan y producirse de forma sistematica, debe ser intencionada,ilustrada, esto es, debe realizarse con un objetivo determinado y ha de estar guiada dealgún modo de conocimiento. El carácter intencional de la observación da lugar a unplan de acción, que convierte la información asi recogida en algo valido para lafinalidad a la que sirve, la evaluación del programa. La técnica de observación puedeser utilizada en momentos variados de la evaluación. La observación es una técnicautilizable también en el momento previo a la aplicación y aun al diseño del propioprograma.

b) Técnicas de análisis, en ocasiones la información ésta disponible en forma dedocumentos de diversa naturaleza, tales como actas, escritos, expedientes,filmaciones, registros, etc… y el evaluador debe ser capaz de extraerla de los mismosconvirtiéndola en datos relevantes para la evaluación de programas.

c) Técnicas de encuesta, es la técnica más socorrida para recoger información en elmarco de la evaluación de programas. La encuesta como técnica de recogida deinformación tiene limitaciones que deben ser objeto de atención para que no invalidensus resultados.: el problema del nº de respuestas y la sinceridad.

d) Técnicas de consulta, en el proceso de evaluación de programas hay momentosespecialmente adecuados para acudir a los expertos para consultarles. Entre lastécnicas de expertos merece una especial mención la denominada Delphi, mediante lacual el evaluador recoge en sucesivas etapas las aportaciones de los expertos hastallegar a formular una propuesta, validar un instrumento para la recogida deinformación o llegar a conclusiones sobre la realidad sometida a consulta.

e) Técnicas de prueba, la constatación de la eficacia de un programa es uno de losobjetivos fundamentales de la evaluación de programas. La decisión sobre el éxito ofracaso del programa debe contar no con la opinión de los responsables del programao de sus destinatarios, sino con evidencias independientes, con el resultado depruebas adecuadas que cumplan con las exigencias tradicionales de fiabilidad yvalidez.

f) Complementariedad de las técnicas, merece la pena dejar constancia de un hechoimportante, que puede hacer aconsejable acudir a diferentes técnicas, con frecuenciacon un carácter complementario. Bien sea como elemento de contraste, bien conánimo de complementar la información, bien de decidir el grado de credibilidad queotorgamos a la información recogida, puede resultar de suma utilidad acudir a unprincipio de gran trascendencia en lo relativo a la recogida de información: el principiode complementariedad metodológica, mediante el cual contamos con informaciónprocedente de diversas fuentes obtenida mediante técnicas diferentes.

#-Los instrumentos de recogida de información: las técnicas pueden tomar cuerpo eninstrumentos concretos en los que el evaluador vuelca su idea, su concepción, su concepto delas variables sobre las que desea recoger información. En el caso de la observación, puedevalerse de listas , de escalas y de guión de la observación. En el caso de la encuesta, losinstrumentos suelen ser los cuestionarios o los inventarios. En el caso de las pruebas, losinstrumentos más tradicionales en el ámbito académico han sido las pruebas objetivas y lostests tipificados, la cantidad y la variedad de pruebas que pueden utilizarse es muy amplia y

3

depende obviamente del tipo de objetivos de que se trate. Pero en todos los casos, además depedírsele fiabilidad y validez, es preciso asegurarse que sean suficientes para decidir el logrode los objetivos del programa.

Punto 4 de solamente de lectura.

Resumen elaborado del capítulo de la obra de referencia para el estudio de la UnidadDidáctica I, Pérez Juste, R. (2006). Evaluación de Programas Educativos. Madrid: Editorial LaMuralla, S.A. ISBN 9788471337559

TEMA 4.- LOS ESTÁNDARES PARA LA INVESTIGACIÓN EVALUATIVA

4.1.- ESTÁNDARES PARA LA EVALUACIÓN DE PROGRAMAS.-

Criterios De calidad de las Evaluaciones.-CRITERIO NORMASUTILIDAD Se trata de 7 normas destinadas a asegurar que la evaluación proporcione la

información que necesite. Habrá de ayudar a identificar lo que está bien y lo queno, lo importante y lo que no

VIABILIDAD Son tres normas concebidas para promover una evaluación realista, prudente,diplomática y moderada. Los procedimientos a utilizar deben estar al alcance delevaluador, sin crear problemas entre los afectados, pero controlando los intentosde ciertos grupos de inmiscuirse en la evaluación

HONRADEZ Este criterio está integrado por ocho normas, destinadas a asegurar una evaluaciónrealizada con planteamientos legales y éticos, respetando a quienes intervienen enla evaluación y están interesados en las conclusiones. El informe debe serequitativo

PRECISIÓN Es el más amplio, con un total de doce normas, fundamentalmente técnicas,destinadas a asegurar la calidad de la información sobre la realidad estudiada, deforma que sea posible determinar su valor y su mérito

4.2.- CONCEPTOS GENERALES SOBRE LOS ESTÁNDARES.-Joint Committee on Standards for Educational Evaluation.- Definen estándar como un principioacordado por las personas comprometidas en una práctica profesional destinada a mejorar la calidad de lamisma. Consideran que proporcionan una guía para evaluar los programas de educación y formación,proyectos y materiales, en conjunto, y a su juicio, proporcionan una estructura para diseñar y asesorarevaluaciones.Definen los conceptos básicos de:

- Evaluación.- se entiende la investigación sistemática del valor o mérito de un objeto, en este casoel programa de educación y formación, aunque pueda aplicarse a proyectos y materiales

- Proyecto.- se define como un conjunto sistemático de actividades educativas cuyo desarrollo ocupaun período determinado de tiempo.

- Programa.- cuando un proyecto se institucionaliza se convierte en programa. Entendido como unconjunto de actuaciones sistemáticas

- Información.- conjunto de datos, cuantitativos o no que ayuda a concretar los resultados, respondera las preguntas que se hace el evaluador o el cliente e incrementar el conocimiento y comprensióndisponibles sobre el programa

- Evaluador.- es un término amplio que puede aplicarse a cualquier persona que realice unaevaluación

- Cliente.- es la persona, grupo u organización que encarga la evaluación, que la contrata- Audiencia.- se entiende las personas o grupos implicados o afectados por una evaluación de

programas

4.3.- ORGANIZACIÓN Y CONTENIDO DE LOS ESTANDARES.-Están organizados en torno a cuatro grandes criterios:

- Utilidad- Viabilidad- Honradez- Precisión

4.3.1.- Estándares de Utilidad.-Está integrado por un total de siete normas, cuyo sentido es el de asegurar que la evaluación ofrezca lainformación necesaria y adecuada a cada una de las audiencias o partes interesadas1.- Descripción de la audiencia.- Las personas implicadas o afectadas por la evaluación deben seridentificadas a fin de poder atender sus necesidades

2.- Credibilidad del evaluador.- Las personas que llevan a cabo las evaluaciones deben ser dignas deconfianza y competentes para realizar su actividad, de forma que sus trabajos y aportaciones alcancen elmáximo de credibilidad y aceptación3.- Alcance y selección de la información.- La información recogida debe ser tan amplia y adecuadamenteseleccionada como para incluir cuantas cuestiones se consideren pertinentes y relevantes en relación conel objeto de evaluación – el programa- y para poder dar la debida respuesta a los intereses y necesidadesde las diferentes partes interesadas (audiencias)4.- Interpretación.- Los evaluadores deben describir con el debido detalle las perspectivas, procedimientosy bases lógicas utilizadas para interpretar los resultados a fin de que sean patentes las bases de sus juiciosde valor5.- Claridad del informe.- El informe en que toma cuerpo la evaluación debe describir el objeto evaluado –el programa- en su contexto, así como los objetivos, procedimientos y resultados de la evaluación, a fin deproporcionar la información fundamental y facilitar su comprensión6.- Difusión y oportunidad del informe.- Los hallazgos significativos y el informe de la evaluación debendarse a conocer a las partes afectadas e implicadas a fin de que puedan ser debidamente utilizados7.- Impacto de la evaluación.- Las evaluaciones deben ser planificadas, dirigidas, llevadas a cabo y dadasa conocer de forma que se estimule el seguimiento del trabajo por parte de las personas afectadas einteresadas a fin de aumentar las probabilidades de que la información sea utilizada. Por impactoentendemos el influjo o la incidencia que pueda tener la evaluación sobre las decisiones y actuaciones delas partes afectadas e interesadas.

4.3.2.- Estándares de viabilidad o factibilidad.-Se trata de tres estándares concebidos para asegurar que las evaluaciones sean realistas, prudentes yadecuadas.1.- Procedimientos Prácticos.- Los procedimientos utilizados en la evaluación deben ser los adecuadospara alcanzar la información necesaria creando el mínimo de problemas posibles2.- Viabilidad Política.- La planificación y dirección de la evaluación debe procurar la cooperación de losgrupos interesados así como evitar cualquier intento de intervenir en su desarrollo o en sus resultados.3.- Eficacia en los Costes.- Coste-Efectividad.- La evaluación ha de orientarse al logro de la informaciónnecesaria utilizando únicamente los recursos propios. Cabe esperar que los resultados de la evaluacióncompensen los recursos que deben ser utilizados.

4.3.3.- Estándares de Honradez o Probidad.-Este bloque de estándares está integrado por un total de ocho, cuyo sentido es el de asegurar que laevaluación se lleve a cabo de acuerdo con las normas legales y los principios éticos, respetando al máximoel bienestar de quienes intervienen en la evaluación, así como de las partes interesadas.1.- Orientación al servicio.- Las evaluaciones deben diseñarse con la intención de ayudar a lasorganizaciones a atender y satisfacer las necesidades de los participantes2.- Acuerdos formales.- Es preciso plasmar en un documento escrito las obligaciones de las partesimplicadas, de forma que cada una de ellas esté obligada a respetarlas o, en su caso, a renegociarlas3.- Respeto a los derechos humanos.- La evaluación debe diseñarse y llevarse a cabo de forma que quedenprotegidos y asegurados los derechos y el bienestar de las personas a las que pueda afectar la evaluación4.- Relaciones humanas.- Los evaluadores deben comprometerse en el respeto de la dignidad e integridadde las personas relacionadas con la evaluación, asegurando que quienes participen no sufrirán daños deningún tipo5.- Informes claros y completos.- Los informes en que se reflejan las evaluaciones deben ser claros ycompletos, incluyendo en sus conclusiones tanto los aspectos positivos y favorables como los negativos ydesfavorables, de forma que los primeros se conviertan en base de nuevas acciones y los segundos enelementos para las actuaciones de mejora6.- Derecho a saber.- Evaluador y cliente deben asegurar que los resultados de la evaluación, con suscorrespondientes limitaciones, serán accesibles a las personas o grupos afectados, algunas de las cualestienen derecho a recibir los resultados7.- Conflicto de intereses.- Los intereses en conflicto deben afrontarse de forma abierta y honesta, demodo que no interfieran en el proceso y en los resultados de la evaluación

8.- Responsabilidad Fiscal.- Las evaluaciones deben realizarse de forma que se asegure el uso deprocedimientos económicos, siendo prudentes y éticamente responsables en lo relativo a los gastos yhonorarios, que deben ser adecuados.

4.3.4.- Estándares de precisión.-Es el más amplio, lo componen 12 estándares o normas. El núcleo de su contenido se centra en lanecesidad de que la evaluación aporte una información técnicamente correcta en relación con aquellasnotas o características que deciden sobre el valor y el mérito del programa evaluado.1.- Documentación del programa.- El programa evaluado debe describirse y documentarse de forma claray adecuada a fin de que pueda conocerse con toda precisión y claridad2.- Análisis del contexto.- El contexto en que el programa se desarrolla debe ser analizado con la debidaatención, con el fin de identificar el influjo que pueda representar para su desarrollo y resultados3.- Descripción de intenciones y procedimientos.- En toda evaluación deben describirse con el detallenecesario para su identificación y valoración tanto las intenciones a las que sirve como los procedimientosque se utilizarán4.- Fuentes de información.- A fin de que pueda ser valorada como adecuada o no la información ofrecida,es preciso que se describan con el debido detalle las fuentes de información utilizadas5.- Información válida.- La información a recoger y los procedimientos a utilizar deben seleccionarse yaplicarse de forma que se asegure la validez de las interpretaciones para el uso al que se destine laevaluación6.- Información fiable.- Se deben elegir y aplicar procedimientos para la recogida de la informacióncapaces de asegurar que es suficientemente fiable para el uso al que se destina7.- Información sistemática.- La información recogida, organizada y analizada debe ser revisada de formasistemática, de forma que los posibles errores puedan ser detectados y corregidos8.- Análisis de la información cuantitativa.- La información de tipo cuantitativo debe ser analizada deforma sistemática y apropiada a fin de que puedan darse las respuestas adecuadas a las preguntasformuladas9.- Análisis de la información cualitativa.- La información cualitativa de un programa debe ser analizadade forma sistemática y apropiada a fin de que puedan darse las respuestas adecuadas a las preguntasformuladas10.- Conclusiones justificadas.- Las conclusiones a las que llega la evaluación deben justificarseexplícitamente a fin de que las diferentes partes implicadas y afectadas puedan someterlas a valoración11.- Objetividad del informe.- Los informes deben reflejar con claridad los resultados de la evaluación,evitándose toda distorsión debida a las posiciones personales de cualesquiera de las partes interesadas(audiencias)12.- Metaevaluación.- La evaluación en sí misma debe ser evaluada, tanto formativa como sumativamente,poniéndola en relación con los anteriores estándares. De esta forma, el proceso evaluativo podrá serllevado delante de forma adecuada y las diferentes audiencias podrán examinar su realización

4.4.- ALGUNAS REFLEXIONES SOBRE LOS ESTÁNDARES.- Es de lectura

UDII

TEMA 5.- NECESIDADES, CARENCIAS Y DEMANDAS. LA EVALUACIÓN DE

NECESIDADES

Se suele afirmar que un programa es un plan destinado a dar respuesta a las necesidades de

determinadas personas o grupos. Las necesidades quedan, pues, fuera de la evaluación de

programas como un elemento que será clave para evaluar la propia calidad del programa.

El elemento rector de la evaluación es el objetivo, y las necesidades son inspiradores de éstos, por

lo que parece necesario abordar el estudio de las mismas y su propia evaluación como la primera

etapa de la evaluación de programas.

5.1.- NECESIDADES, CARENCIAS Y DEMANDAS

En términos técnicos el concepto necesidad no se entiende de forma intuitiva;

- los seres humanos la experimentan como todo lo que contribuya al buen funcionamiento de

su organismo

- psicológicamente viene a ser una tensión que impele a la satisfacción de algo considerado

deseable

- es subjetiva desde la connotación de sentir que falta algo, que se echa de menos algo, puede

llegar a ser básico, esencial…

- podemos encontrar personas que no sienten esas necesidades, no experimentan

subjetivamente lo que objetivamente les falta: no echan de menos objetos, relaciones…

- “McKillip”: una necesidad implica el juicio de valor que tiene algún grupo sobre un

problema que puede ser resuelto

Esta distinción entre los componentes subjetivos y objetivos es importante para entender las

necesidades de los programas. Un primer elemento clave a la hora de diseñar programas es el de la

identificación de las necesidades, tratando de comprobar si estamos ante necesidades en sentido

estricto o ante carencias no sentidas como necesidades. En este segundo caso una tarea previa a la

implantación del programa deberá ser la de sensibilizar a las personar hacia sus propias carencias a

fin de convertirlas en necesidades.

En lado opuesto nos encontramos con el caso de aquellas demandas que sólo son necesidades en el

sentido subjetivo del término; puede tratarse de demandas caprichosas, excesivas, alejadas de la

situación general de la comunidad. Los recursos son limitados y deben utilizarse de modo justo y

equitativo.

Las expectativas son la detección de las esperanzas que pueden tener ciertos grupos de lograr

determinadas metas, metas que, en este caso, necesitarían del programa para ser alcanzadas. Cuando

son razonables y justas, merecen ser debidamente atendidas. ES más, en los actuales modelos de

certificación de calidad se reconoce la conveniencia de que los responsables de las instituciones

lleguen a adelantarse a las necesidades.

5.2.- EVALUACIÓN DE LAS NECESIDADES.-

Proceso sistemático de actuación destinado a su detección, identificación y valoración. Para que

resulte útil debería dar lugar a acciones específicas previa la oportuna toma de decisiones.

La valoración o evaluación implica analizar, sopesar las necesidades, y conceder ciertos niveles de

importancia, estableciendo prioridades a la hora de emprender su satisfacción.

En el caso de la evaluación de necesidades, como en cualquier otro tipo de evaluación, conviene

afrontar la tarea con un plan. Las líneas básicas son:

- Planificación y preparación.- decidir qué se entiende por necesidad y por evaluación;

establecer qué tipo de necesidades serán el objeto de la evaluación

- Diseño de la evaluación.- metodología general, técnicas e instrumentos a utilizar, criterios y

referencias para valorar, momentos en que se recogerá la información, sistema de registro,

tratamiento y análisis previstos

- Recogida de la información seleccionada.-

- Tratamiento y análisis de la información.- Discusión

- Valoración.- puntos fuertes y débiles, establecimiento de prioridades. Toma de decisiones

5.2.1.- Detección e identificación de necesidades.-

Es una tarea que puede abordarse por diversos procedimientos. El más obvio es el de la consulta a

las personas o grupos, adecuadamente definidos en función de variables como la edad, sexo, clase

social, nivel de estudios, lugar residencia. La encuesta en forma de cuestionario o entrevista es el

instrumento más adecuado.

Este tipo de actuación debe respetar la norma básica de toda encuesta: la representatividad de los

consultados, lo que implica un número suficiente y una selección imparcial, con criterios técnicos

propios del muestreo. La alternativa de consultar a todos, dado que no está asegurada la respuesta

de todos los consultados, no asegura más representatividad que un buen muestreo, y este resulta

más económico en términos de tiempo y recursos.

En el caso de las carencias experimentadas por la sociedad, la consulta debe dirigirse a personas

representativas de los diferentes sectores de la actividad- salud, educación, formación personal…-

por se quienes pueden poner de relieve las diferencias entre las posibilidades y expectativas y la

realidad del personal..

Cabe también un enfoque prospectivo, esto es, un adelantarse a las necesidades de personas o

grupos con la intención no de crear necesidades, como ocurre con el mundo del consumo, sino de

estar en condiciones de ofrecer las respuestas oportunas. Los avances sociales y tecnológicos de

nuestro mundo, los cambios espectaculares y acelerados que se constatan día a día, fueron previstos

por personas con la adecuada formación.

En ocasiones, la consulta puede ser sustituida por la observación, complementada o no por los

registros. El registro puede aportar con frecuencia datos relevantes sobre carencias de personas o

grupos; los datos están ahí y lo que procede es extraerlos utilizando procedimientos rigurosos,

organizarlos, tratarlos..

Conocimiento del ser humano: fruto de él se pueden identificar carencias a partir de planteamientos

generales y genéricos, por lo que las personas con responsabilidad en los diferentes ámbitos pueden

diseñar programas generales para dar la debida respuesta general a las mismas.

La detección de necesidades debe culminar en una definición de las mismas que permita

convertirlas en el eje de los programas.

5.2.2.- Valoración de las necesidades.-

La información es el pilar cuya calidad debe construirse la evaluación mediante la aplicación de

criterios y de referencias. Previo al acto de valorar es necesario proceder a la organización,

tratamiento y análisis de la misma

Organización, tratamiento y análisis de la información.-

Lo habitual es sintetizar toda la información y hasta representarla, bien con índices, con

representaciones gráficas…La estadística nos muestra toda esta información a través de índices,

como los coeficientes de correlación y asociación de fácil interpretación

Un elemento fundamental es el establecimiento de la unidad de análisis; fijar la unidad es establecer

el nivel de agregación que se va a utilizar para establecer comparaciones, para analizar las

relaciones existentes e incluso para realizar predicciones

El análisis se convierte así en un procedimiento sistemático por medio del cual el evaluador extrae

la información relevante para su trabajo, información que está de alguna manera oculta o

subyacente en las respuestas y registros utilizados

Evaluación.-

Las referencias habituales para establecer las necesidades son las siguientes:

- Normativas.- se toma como referencia la discrepancia entre la situación de grupos o

personas y lo que es normal o habitual en la comunidad de que forma parte

- Criteriales.- se toma como referencia el logro de unos determinados niveles establecidos por

personas o entidades responsables como metas alcanzables en un determinado espacio de

tiempo

- Idiosincráticas o personalizadas.- nos encontramos ante las necesidades expresadas en

sentido subjetivo. Su valoración como atendibles o no debería llevarse a cabo acudiendo a

las referencias anteriores

Una vez clasificadas la información, valorada como carencias y como necesidades, debemos

calificarlas como atendibles o no en función de diversos criterios, tales como disponibilidad de

recursos, perentoriedad o gravedad de las mismas.

Las prioridades pueden formularse por diversos criterios, bien políticos o económicos…pero en

nuestro caso deben ser pedagógicos, esto es, orientado a la mejora de las personas, y se sugieren los

siguientes:

- Gravedad de las carencias.- Las necesidades se imponen

- Intensidad de la demanda de respuesta a auténticas necesidades.- Se une el interés, con la

presumible implicación de los afectados, a la autenticidad de las necesidades

- Número de potenciales beneficiarios

- Grado de rentabilidad.- La satisfacción de ciertas demandas como desencadenante de otras

de mayor trascendencia, pero no demandadas en la actualidad

- Inmediatez de los efectos.- Programas de corto recorrido y potenciales efectos rápidos, que

pueden abrir las puertas a nuevas y más importantes necesidades

- Eficacia.- Implantar programas centrados en necesidades fáciles de satisfacer

- Responsabilidad.- Atender a las necesidades que se encuentran en el ámbito de competencia

de quienes pueden poner en marcha los programas

5.2.3.- Toma de decisiones.- Permite traducir las carencias y necesidades en objetivos del programa y, por consiguiente, la

posterior elaboración del programa en cuanto plan de acción

Una razonable forma de actuar en el diseño y aplicación de programas es la de tomar esa decisión y

las asociadas a partir de la información disponible, tras un adecuado proceso de valoración. No

hacerlo así conduce a la arbitrariedad de quien decide, que puede actuar por motivos políticos, de

interés personal o de grupos, en lugar de basarse en criterios públicos y transparentes.

Esta toma de decisiones permite traducir las carencias y necesidades en objetivos del programa y,

por consiguiente, la elaboración del programa en cuanto plan de acción, intervención, considerando

adecuado para dar las respuestas pertinentes y adecuadas a las necesidades.

La toma de decisiones es algo complejo. Puede ser realizado por una única persona responsable o

por un conjunto. Para su futura aplicación eficaz y eficiente, conviene dar participación a las

personas que estarán implicadas en el programa. Debe implicar un estudio analítico de la

información y una discusión de la misma que establezca la conveniencia de la intervención, así

como la naturaleza de la misma, y asegure o maximice el acierto a la hora de diseñar, implantar e

implementar el programa.

5.3.- CALIDAD DE LA EVALUACIÓN DE NECESIDADES.-

A la evaluación de necesidades se le puede aplicar los mismos estándares de calidad que a la

evaluación de programas, ligados a los criterios de utilidad, viabilidad, honradez o probidad y

precisión., aunque se han realizado trabajos destinados a establecer de modo específico la calidad de

las evaluaciones de necesidades.

La calidad de este tipo de evaluaciones no se diferencia, salvo en la especificidad de su objeto, de la

calidad de cualquier otro tipo de evaluación. A partir de esta posición, entendemos que los grandes

criterios a considerar son los siguientes:

- Su referencia y subordinación a la realidad a la que sirve.- En la medida en que

concedemos a la evaluación un carácter instrumental, ésta debe ser coherente y armónica

con aquella. En nuestro caso, la evaluación debe servir a la educación

- La correción y adecuación de su planificación y diseño a la naturaleza de las necesidades a

evaluar

- Su ejecución eficiente.- Prudencia en el uso de medios, recursos e instrumentos

- La calidad de la información recogida, sintetizada en tres grandes cualidades: fiabilidad,

validez y su carácter valioso.-

- La utilidad y relevancia de la información aportada para las distintas partes interesadas:

diseñadores y responsables de los programas, aplicadores y evaluadores de los mismos

Otros autores han realizado trabajos específicos destinados no sólo a establecer cuáles deben ser los

criterios de calidad sino a identificar indicadores o normas dentro de cada uno de ellos.

Martínez de Toda (1991).- establece tres criterios

- Funcionalidad.-coherencia entre el diseño y el proceso evaluativo con el propósito general

de toda evaluación. Recoge indicadores referidos a las entradas, al proceso y al producto

- Eficiencia.- valoración de los costos en relación con los resultados, incluidos los referidos a

tiempo y recursos

- Eficacia.-rigor técnico en las medidas, técnicas e instrumentos, así como en los métodos de

análisis de la información

TEMA 6.- EL PROGRAMA Y EL PLANTEAMIENTO DE LA EVALUACIÓN

6.1.- CONCEPTO DE PROGRAMA.-

Un programa es un documento técnico, elaborado por personal especializado, en el que se deja

constancia tanto de sus objetivos cuanto de las actuaciones puestas a su servicio. Responde a las

notas de todo plan de acción: planteamiento de metas, previsión, planificación, selección y

disponibilidad de medios, aplicación sistemática, sistema de control y evaluación del mismo

O de otra forma: el programa es un documento en el que se integran los objetivos educativos, a

lograr a través de determinados contenidos, con un plan de acción a su servicio, plan en el que

incluimos la evaluación de carácter formativo como un elemento más, en sintonía y armonía con

todos ellos.

6.1.1.- Diversidad de programas.-

La diversidad de programas es muy grande. Aspectos como la naturaleza de su objeto, la amplitud

de sus metas, su duración, los profesionales responsables, su carácter obligatorio u optativo, su

generalidad o especificidad…nos ponen en guardia a la hora de intentar una caracterización

genérica de lo que es un programa

6.1.2.- Complejidad del programa.- Hoy en día tales programas tratan de desarrollar ciertas estrategias, habilidades y hasta de generar

determinadas actitudes y buscar el compromiso lo que hace de ellos una realidad mucho más

compleja de diseñar, llevar a cabo y evaluar. La complejidad se hace mucho mayor cuando de los

programas académicos se avanza a los Proyectos, tanto a los denominados educativos como

curriculares.

6.2.- ESTRUCTURA Y COMPLEJIDAD DE LOS PROGRAMAS EDUCATIVOS.- Sólo

lectura

6.3.- los COMPONENTES BÁSICOS DE UN PROGRAMA.-

- Contenidos

- Objetivos

- Un conjunto más o menos amplio y variado de medios y recursos

- Un sistema integrado de evaluación

6.3.1.- El contexto.- El elemento ajeno al programa, de vital importancia, es el contexto o marco de referencia en que se

desarrolla, como un condicionante fundamental tanto para poder implantarlo como para facilitar su

adecuado desarrollo.

6.3.2.- Los componentes mínimos.-

Ya hemos señalado varios componentes, objetivos, evaluación… los medios y recursos también se

convierten en un componente clave. Así como la motivación promovida por el responsable del

programa

6.3.3.- Los requisitos.-

Los programas deben cumplir con ciertos requisitos de carácter técnico, práctico y ético. Es

necesario exigir que los programas educativos sean evaluados inicialmente en cuanto a su

necesidad, viabilidad o factibilidad.

6.4.- EL PROCESO DE EVALUACIÓN.-

Distinguiremos dos situaciones claramente diferenciadas: aquellas en las que le programa se diseña

para responder a necesidades y carencias concretas, y se lleva a cabo sin intención de continuidad, y

aquellas otras en las que el programa está destinado a mantenerse durante varias ediciones

6.4.1.- Evaluaciones únicas de un programa.-

Mientras los programas académicos ordinarios suelen tener entre sus notas la de permanencia y

estabilidad, los programas que responden a necesidades, carencias y demandas ad hoc suelen

carecer de tales notas.

Aún en el caso de las evaluaciones puntuales y por una sola vez, conviene que la evaluación

responda a un plan y que esté prevista y planificada desde el primer momento. Esto garantiza por

una parte la viabilidad y, por otra, disponer de la información pertinente en el momento de llevar a

cabo la evaluación, evaluabilidad

Los responsables del programa deben procurar una evaluación no sólo integral, esto es, de todo el

programa en sus diversas etapas y componentes, sino integrada, esto es, formando parte del propio

programa como un componente más, eso sí atendiendo a las dos funciones básicas, la formativa y la

sumativa.

La planificación de la evaluación debe ser un componente unido inseparablemente al programa en

todas y cada una de las diversas fases por las que debe pasar:

- si, por un dado, el programa se debe diseñar a partir de la detección, identificación,

valoración y priorización de las necesidades, ese mismo proceso evaluador puede y debe

someterse a evaluación para decidir si ha sido llevado a cabo don las garantías técnicas

necesarias: diversidad y adecuación de las fuentes, idoneidad de las técnicas, calidad de los

instrumentos, corrección y adecuación del tratamiento y análisis de la información,

adecuada valoración, establecimiento de prioridades, adecuada difusión de la información

- antes de comenzar el programa debe ser sometido a valoración en relación los siguientes

criterios.-

o Pertinencia de sus objetivos: adecuación, suficiencia y realismo

o Calidad intrínseca del programa, atendiendo a la fundamentación de la intervención

diseñada

o Viabilidad del programa

o Calidad técnica, esto es, formulación del programa atendiendo a los requisitos

técnicos, entre los que cabe destacar la claridad y precisión en la formulación de los

objetivos, la especificación de todos los aspectos relevantes y la evaluabilidad del

programa

- Durante el proceso de aplicación del programa.-

o Datos de proceso en relación con su implantación y desarrollo de conformidad con la

planificación; disfuncionalidades, flexibilidad que permite para acomodar el proceso

a las circunstancias. Niveles de progreso

o Datos procesuales en relación con los niveles de logro y de satisfacción del personal

o Datos contextuales sobre la incardinación del programa en su contexto, los apoyos

que recibe, los obstáculos que debe afrontar…

- Al finalizar el programa.-

o Básicamente, se debe recoger información sobre su eficacia, eficiencia y efectividad

o Establecer contrastes entre los resultados del programa y otros alternativos, si los

hubiere

o La evaluación debe hacer objeto de valoración el propio sistema de evaluación final

y la calidad técnica del mismo

6.4.2.- Institucionalización de la evaluación.-

Para que la evaluación aporte el máximo de sus potencialidades, conviene institucionalizarla, de

forma que, por una parte, los resultados de la misma sirvan de base para mejorar el programa en su

diseño, implantación y resultados, y, de otra, se hagan objeto de evaluación, mediante un especial

seguimiento, los aspectos identificados en la primera ocasión como puntos débiles susceptibles de

mejora. De esta forman, la evaluación se integra plenamente en el programa, como un componente

más, en armonía y coherencia con el resto evitándose los riesgos y disfunciones de una evaluación

puramente externa y desintegrada del programa

6.5.- APORTACIONES Y RIESGOS DE UNA EVALUACIÓN INTEGRADA.- Se comprenderá que las aportaciones de la evaluación resultan relevantes cuando cumple una triple

exigencia:

- Su subordinación a los objetivos, expresión de la respuesta a las necesidades

- Su armonía y coherencia con el resto de componentes del programa

- Su rigor técnico: fiabilidad, validez y valía de la información

La vulneración de cualquiera de estas 3 cualidades puede resultar de graves consecuencias.

6.5.1.- Aportaciones.- Tres son las aportaciones fundamentales de una evaluación integrada de prg

educativos

- La información que aporta para la mejora continua del programa en todas sus dimensiones y

componentes. La evaluación integrada trasciende la información sobre aspectos relacionados con su

eficacia, eficiencia, efactividad o satisfacción. Por una parte aporta información sobre momentos

anteriores a su evaluación final, con lo que las decisiones pueden ser más ajustadas, completas y

adecuadas; por otra, porque hace posible la mejora del programa sobre la marcha, durante su propio

proceso de aplicación.

- El compromiso con la mejora del programa.- La evaluación integrada suele surgir como

consecuencia de una actitud generalizada fruto de una posición personal ante la vida que tiene que

ver con el deseo de superación y con la aunción de responsabilidades.

- La continuidad.- Es una exigencia de cualquier actuación al servicio de la mejora; pero la

continuidad no es posible en modelos no integrados

6.5.2.- Riesgos.- Conviene dejar constancia de algunos riesgos que deben ser evitados para que las

aportaciones no queden obscurecidas y hasta limitadas. En concreto, nos referimos a dos de especial

relieve.-

- La inversión de papeles.- Reiterando el papel instrumental de la evaluación, lo que viene a

representar que lo importante es el programa y no su evaluación. En el marco del tiempo y de los

medios y recursos disponibles, la evaluación debe ocupar y consumir el necesario y nada más que el

necesario.

- La exhaustividad.- Se encuentra el afán de perfeccionismo, que puede conducir a intentos

utópicos, alejados de toda prudencia y realismo.

TEMA 7-1 EVaLUACION INICIAL DE PROGRAMAS

2-EVALUACIÓN INICIAL DEL PROGRAMA Si quien debe evaluar el programa es la persona o grupo que lo ha diseñado, se habrá evaluado antes de ponerlo en marcha. Entonces la evaluación inicial, significa una nueva mirada sobre lo que se acaba de hacer o se está haciendo, para acomodar el diseño del programa a las pautas de calidad exigibles. En este caso el evaluador puede ir aplicando a su programa una pauta de referencia para comprobar si todos los pasos son correctos y su trabajo es adecuado. Los aspectos esenciales de la evaluación inicial, llevado a cabo por un evaluador diferente al q diseña el programa son:

2.1. Finalidad de la evaluación inicial Tiene una finalidad preventiva, se trata de aplicar el programa en las condiciones más favorables, para reducir las posibilidades de fracaso. Esta finalidad se logrará antes de la implantación e implementación del programa, cuando se hayan introducido las modificaciones pertinentes fruto de la revisión del diseño del programa, implica una actividad evaluativa amplia y compleja, pues se somete a evaluación todos los elementos del programa. Podríamos añadir unos objetivos importantes como son: -Comprobar si será evaluable el programa antes de aplicarlo. -Decidir si es viable y procede implantarlo. -Excluir el diseño del programa como causa de resultados insuficientes en caso de que se produzcan.

2.2. Dimensiones de la evaluación objeto de evaluación. Las grandes dimensiones que deben ser objeto de evaluación son: su calidad intrínseca (la del documento técnico del programa), su adecuación a los destinatarios y al contexto y su adecuación a las circunstancias o viabilidad.

2.2.1. Calidad intrínseca del programa: Es la cualidad fundamental de un programa y la dimensión más amplia y compleja de la evaluación inicial de un programa. El programa es un plan sistemático de acción, con unos objetivos de los que se espera la satisfacción de necesidades, carencias, demandas…de los destinatarios, que debe reunir unas exigencias técnicas mínimas de contenido, formulación técnica y de evaluabilidad.

a) Contenido del programa Conjunto de elementos que lo configuran, formado por objetivos, medios, recursos y un sistema de evaluación con metas educativas y relevantes. El análisis del contenido del programa se orienta a la satisfacción de las necesidades detectadas, siempre respaldado por una teoría válida en el momento del diseño del programa. Los medios y recursos, deben ser adecuados y suficientes, los medios tienen carácter instrumental, su valor lo adquieren en relación a los objetivos a los que sirven. Son los medios materiales, los organizativos, funcionales, los medios humanos y la evaluación formativa. El sistema de evaluación debe ser coherente con objetivos y medios.

b) Calidad técnica Un programa puede proponerse unas metas educativas relevantes, contar con medios suficientes y adecuados y fallar porque su formulación, no respeta las exigencias técnicas.

c) Evaluabilidad Es la cualidad de algo como evaluable, por tanto antes de aplicar el programa debemos plantearnos si reúne las condiciones necesarias para ser objeto de evaluación. La evaluación inicial del programa debe someter a análisis y valoración tres grandes aspectos: el propio contenido, la metodología prevista y el lenguaje utilizado. Puesto que el cuerpo del programa es el contenido, la evaluabilidad requiere pronunciarse sobre los elementos que lo integran desde la presencia o ausencia de fundamentación, el sistema de evaluación o su relación con las carencias y las necesidades detectadas. La metodología, es preciso analizar si la información recogida en el documento es suficiente para pronunciarse sobre los objetivos, las decisiones, las técnicas e instrumentos de recogida de información, los datos, los momentos y las fuentes. El lenguaje vehículo de comunicación, es fundamental para decidir sobre la evaluabilidad. Es preciso un vocabulario técnico como medio para la comunicación de ideas.

2.2.2. Adecuación al contexto En función de que un programa sea adecuado, suficiente e idóneo, podrá o no lograr los objetivos para los que fue diseñado. A los efectos de la evaluación inicial, hay que destacar si el programa es adecuado a las necesidades, carencias y expectativas de los destinatarios y si las características del lugar y el momento en el que el programa será aplicado son los más idóneos.

2.2.3. Adecuación a las circunstancias: viabilidad La puesta en marcha del programa implica, dedicación, esfuerzo y recursos. Su éxito depende de planes serios y rigurosos con planteamientos realistas. Es necesario que se analice la situación antes de poner en marcha un programa, y se implante sólo si en esa situación o momento se considera viable y factible.

Tema 7-2 DESARROLLO DEL PROGRAMA. EVALUACION FORMATIVA DEL PROGRAMAS

Si el programa puede surgir de una evaluación -explícita o implícita- de las necesidades, carencias, demandas

o expectativas de las personas a las que va destinado debe ser sometido a evaluación con una finalidad

preventiva: aplicarlo en las mejores condiciones. Esa evaluación inicial, previa a la preventiva, puede conducir al

aplazamiento o hasta la retirada del programa en la medida en que sus carencias o limitaciones técnicas o su

limitada viabilidad así lo aconsejen.

Ahora bien, el que un programa haya merecido una valoración inicial positiva, no garantiza en modo su

implantación y desarrollo correctos. Por eso es necesario evaluarlo en su implantación, implementación y

desarrollo para tomar las decisiones correctivas pertinentes que permitan evitar los aspectos negativos y reforzar

los positivos.

1. IMPLANTACION, IMPLEMENTACION Y DESARROLLO DEL PROGRAMA Y EVALUACION FORMATIVA

Implantación Es crucial porque es en los primeros momentos, y no solo en el caso de los programas sino en general, cuando se configuran actitudes en torno al programa. No existen actitudes hacia lo que no se conoce, se configuran fruto de la experiencia, y son las primeras experiencias las más importantes, dado que si fueran negativas habría que tratar de removerlas y crear unas nuevas de tipo positivo, un doble y difícil trabajo. En este sentido, no cabe duda de la enorme importancia que puede tener la formación técnica, la capacitación profesional y las cualidades humanas de quienes han de llevar a cabo los programas. La implantación debe pretender una buena acogida, aceptación y apoyo por parte del personal que se encuentra en el centro o institución en el que se aplica el programa. Esto resulta especialmente importante caso de programas educativos que se implantan como elementos ajenos a los programas ordinarios en un horario aparte o en el de programas dentro de programas ordinarios. En este último caso, las posibilidades de eficacia son prácticamente nulas sin la aceptación de quienes deben acoger en su tiempo de responsabilidad al nuevo programa.

Implementación.

Una vez implantado el programa, su implementación y desarrollo puede ocupar un tiempo variable amplio

como para que merezca la pena ligar a su desarrollo una evaluación procesual de carácter formativo.

2. DIMENSIONES Y OBJETO DE LA E\/ALUACIÓN

A nuestro juicio, son dos los aspectos o grandes dimensiones que deberan ser sometidas a evaluación: por

una parte la propia ejecución del programa, en tanto en que responde, o debe responder, a una planificación que,

en su momento, se considera adecuada; por otra, el marco o contexto en el que el programa se lleva a cabo,

dado su evidente papel condicionante para el adecuado desarrollo del mismo y hasta para su posterior eficacia.

11.2.1. Ejecución del programa

Su ejecución debería acomodarse razonablemente al plan del programa y la evaluación debe atender al

grado en que se respeta la planificación. En caso de que no se respete la planificación debe analizarse si las

disfunciones apreciadas pueden considerarse o no significativas. En la ejecución del programa se deben analizar

y valorar: las actividades, las secuencias, la temporalización, los recursos y la flexibilidad.

a) Las actividades y demás medios

Medio excelente para el logro de objetivos. La habilidad de quienes diseñan los programas para definir las

actividades adecuadas, suficientes y eficaces para alcanzar objetivos, cualidades técnicas esenciales es una de

las cualidades técnicas esenciales.

La suficiencia es una condición básica de las actividades, si no lo fuera, determinados objetivos no podrían

alcanzarse o se lograrían sólo parcialmente.

La adecuación es otra característica básica del programa. Una actividad adecuada es aquella que responde a las

características de quienes han de realizarla como de la naturaleza de la realidad a la que sirven y hasta las

características del medio. La adecuación favorece el interés y la motivación y por tanto la implicación en el

programa de los destinatarios, además de que una actividad motivadora, tiene que ser más eficaz.

Eficacia, es una característica que debería predicarse de las actividades.

Al final, quien diseña un programa lo que pretende es lograr la eficacia y alcanzar los objetivos. Como estamos

evaluando la implementación del programa, la eficacia será de carácter parcial.

b) Las secuencias

Son uno de los elementos procesuales más específicos de un programa. Determinadas actividades pueden tener

un cierto carácter independiente, no tienen porque realizarse en un momento determinado. Hay actividades que

responden a una secuencia, ya que el orden es importante para lograr la eficacia, llamado jerarquía de

aprendizaje por Gagne. La evaluación procesual debe atender esta característica de forma que pueda

establecerse su corrección o no y hasta su adecuación a los destinatarios del programa.

c) La temporalización

Es otro de los objetivos de la evaluación procesual. Diseñar una adecuada distribución del tiempo resulta difícil si

no se cuenta con precedentes de experiencias anteriores. La eficacia del programa está relacionada, con una

adecuada temporalización, adecuando las actividades a los destinatarios del programa.

El tiempo asignado a cada actividad debe permitir su desarrollo sin agobios, ni dispendio de tiempo, pues en el

primer caso impide asimilar los contenidos porque no pueden mantener la atención, en el segundo caso se

produce una cierta relajación que puede traer el aburrimiento y el desorden en el grupo.

Encontrar los tiempos adecuados no es fácil, compaginar la atención a la diversidad con el ajuste de tiempos

puede necesitar del desarrollo de actividades complementarias.

d) La flexibilidad

Un programa debe responder a un plan como actividad sistemática. No debería entenderse este hecho

como una necesidad de aplicación rígida, sin atender a la propia dinámica y acontecer del programa y,

sobre todo, a los posibles efectos no planeados, cuya importancia puede alterar la mejor de las

planificaciones. Los efectos no planeados pueden ser tanto positivos como negativos.

e) Los recursos

Su evaluación debe centrarse en la suficiencia, la adecuación la eficacia o la disponibilidad.

Con frecuencia los recursos, son del centro o la institución, por tanto son compartidos.

La posibilidad de coincidir varias personas como usuarios de varios recursos es elevada, originándose tensiones

que dan lugar a actitudes negativas hacia el programa, con efecto negativo sobre los resultados.

Una correcta planificación, supone resolver el tema de forma amistosa o dialogante, evitando actitudes negativas.

11.2.2. Marco del programa

Junto a los elementos señalados, hay que someter a estudio el marco o contexto del programa.

Los programas en tanto que intención al servicio de unos objetivos vienen a irrumpir en un contexto estable y

hasta rutinario.

La irrupción a que nos referimos puede provocar reacciones positivas o negativas. Interesa conseguir

positivas y, en la medida de lo posible, de tipo activo, cooperación e implicación en los objetivos del

programa.

A fin de que las cosas ocurran así, es conveniente preparar al personal de la organización o centro

educativo en el que se implanta el programa. El conocimiento de lo que el programa es y pretende, de la

previsible incidencia el contexto, de las personas implicadas y de la esperanza de aceptaci6n y apoyo al

mismo, pueden crear un clima favorable, Una actitud positiva.

No siempre es fácil lograr esta actitud positiva ni la disposición a colaborar e implicarse. Y no siempre la

actitud inicial positiva se consigue mantener a lo largo del tiempo que necesita un programa para su

completo desarrollo.

Los efectos negativos apreciados en la evaluación procesual pueden no ser debidos a carencias y

limitaciones del propio programa sino a la incidencia o a los condicionantes de dicho contexto. En tal sentido, puede ser necesario analizar el ambiente o clima general del centro educativo o de la

organización en cuyo seno se desarrolla el programa.

Tema 7-3 CONCLUSIÓN DEL PROGRAMA EVALUACION FINAL DEL PROGRAMA.

1-EVALUACIÓN DEL PROGRAMA EN SUS RESULTADOS

La conveniencia de una evaluación de programas en que esta evaluación final no sea sino una tercera

etapa o momento, tras la evaluaci6n inicial preventiva, anticipadora- y la procesual formativa; es más,

hemos defendido que cuando el programa está destinado a ser una actuación estable, debería tener, su

continuidad en lo que hemos denominado institucionalización de la evaluación.

El modelo de Tyler, al que se hizo referencia en la primera parte, es una propuesta típica de evaluación

puntual y final de un programa. Bien se podría afirmar que todo programa debe ser evaluado en sus

resultados, porque todo programa se orienta, al logro de no objetivos o metas de mayor o menor-alcance.

El problema es que cuando los objetivos no se alcanzan, o cuando se logran hasta niveles considerados

insuficientes, una evaluación de este tipo sólo permite su constatación pero no informa de cómo se ha

llegado a tal situación, ni de la naturaleza de las limitaciones y del origen de las mismas, lo que reduce

sensiblemente posibilidades de mejora que pueden derivar de la evaluación.

Todas estas limitaciones quedan muy reducidas, cuando no anuladas, si la evaluación sumativa del

programa forma parte de una evaluación integral.

1.1 Finalidad y objetivos de la evaluación final del programa

La finalidad fundamental de la evaluación final de un programa es la constatación del grado de eficacia

alcanzado, del nivel de logro alcanzado en los objetivos a los que sirve el programa.

En la medida en que este tipo de evaluación puede servir para introducir modificaciones del programa, cabe

plantearse objetivos complementarios que resultan de valor y utilidad a pesar de sus limitaciones. Nos

referimos a la identificación de los aspectos susceptibles de mejora, así como a los que se han desarrollado

de modo satisfactorio.

La evaluación final, si no va acompañada de evaluación inicial y procesual, no aporta la información

necesaria y suficiente para poder tomar decisiones de mejora.

Cuando esta evaluación va acompañada de la recogida en etapas anteriores, disponemos de elementos

suficientes para detectar la naturaleza de los aspectos negativos y tal vez de los origines y causas de los

mismos.

1.2 Principales dimensiones A la hora de evaluar el programa en sus resultados, bien como único componente de

la evaluación, bien como tercera etapa de una evaluación completa, integral, podemos distinguir varias

dimensiones fundamentales:los resultados alcanzados y la valoración completa de los mismos. En caso de los

programas destinados a mantenerse mediante nuevas ediciones, podemos hacer objeto de evaluación el

procedimiento de toma de decisiones y los planes en que estas decisiones se concretan.

Cuando estemos ante evaluaciones integrales, en la que la evaluación de resultados es la tercera etapa, estos

últimos aspectos formalmente son parte de esa cuarta etapa que denominamos institucionalización de la

evaluación.

a. Los resultados

El elemento clave de la evaluación del programa son los resultados alcanzados, esto es, los niveles de

logro de los objetivos del programa.

Tales resultados han podido ser objeto de seguimiento o no. Ahora lo que corresponde es establecer

cuales son los logros y, posteriormente, valorarlos de conformidad con criterios y referencias.

La naturaleza de los objetivos del programa es la que permite definir lo que se considera resultados del

mismo como base para establecer lo que se toma como manifestaciones o indicadores de eficacia.

En ocasiones, los resultados pueden establecerse con facilidad. En otras, las cosas pueden ser mucho

más difíciles de definir. Todos estos aspectos deben quedar claramente establecidos al definir el programa,

a fin de que pueda establecerse si se logró la eficacia.

Un problema añadido son las manifestaciones de eficacia en la valoración, pues la mayoría de los

programas sirven a objetivos diversos. No hay problema si todos los indicadores se logran en niveles de

éxito, pero sí lo hay si se produce fracaso. La solución de informar diferencialmente sobre la eficacia del

programa puede ser diferente, pero no estaremos decidiendo sobre el programa como unidad. Por eso es

preciso prever la ponderación de los objetivos y niveles de logro alcanzados a la hora de considerar una

puntuación global y unitaria sobre la eficacia del programa.

b. Valoración

Junto a los resultados como dimensión de la evaluación final tenemos la valoración de los mismos. Unos

mismos datos pueden ser valorados de diferentes formas en atención a diferentes formas y circunstancias

concurrentes.

Los programas se llevan a cabo en condiciones normales, no controladas. De ahí que una vez puesto en

marcha el programa aparezcan circunstancias de todo tipo que las puedan entorpecer o favorecer el

programa. Hechos imprevisibles que hacen más meritorios determinados niveles de logro, incluso cuando

representen niveles objetivamente más bajos de los inicialmente establecidos.

Como es obvio, la valoración de estas circunstancias y de su incidencia en los resultados tiene un grado de

subjetividad más elevado que lo anteriormente establecido. Es por ello que los evaluadores deben esforzarse

en objetivar sus posiciones, razonarlas y argumentarlas. Lo que parece claro es que deben tener su reflejo en la

evaluación.

TEMA 8. MODELOS Y METODOLOGÍAS PARA LA EVALUACIÓN

8.1. PRINCIPALES MODELOS EVALUATIVOS

8.1.1. Modelos evaluativos centrados en la eficacia de los programas

Podemos distinguir dos grandes enfoques: el de Tyler y el que se sirve de metodologías

experimentales.

1.1. La propuesta realizada por TYLER (1947), cuya meta fundamental era valorar la eficacia

de los programas. Su metodología se centra en la comprobación del grado de eficacia de los

programas educativos. Se concreta en el establecimiento del grado de coherencia entre los

niveles de logro prefijados y los realmente alcanzados.

Su propuesta implica una determinada secuencia de actuación concretada en pasos o

secuencias, estas son:

Identificación de metas y objetivos. Definición de comportamientos observables (en

términos operativos). Identificación de situaciones en que pueda ponerse de manifiesto el

logro o no de los objetivos. Selección de los instrumentos adecuados. Comparación entre los

resultados y los objetivos prefijados.

Debido a la gran diversidad de objetivos, se han clasificado por categorías, siguiendo el

modelo clásico de BLOOM, MASÍA, entre otros. Los objetivos del Dominio cognoscitivo se

concretan en categorías de: Conocimiento, comprensión, aplicación, análisis, síntesis y

evaluación.

El gran valor otorgado a la propuesta de TYLER fue su carácter pionero ya que hasta

entonces las evaluaciones se habían centrado en el aprendizaje de los estudiantes, sin tener

en cuenta a quienes, por medio del programa orientaban su actividad al logro de tal

aprendizaje.

Su propuesta ha sido profundamente criticada:

1. Escasa consideración concedida a los procesos evaluativos.

2. El problema de encontrar evidencias para los objetivos de mayor entidad.

3. Como el modelo se centra en los objetivos explícitos del programa, puede dejar de lado

un conjunto de influencias no explícitas de los centros en los que se desarrollan los

programas.

1.2. Las propuestas Experimentales,

La eficacia es una cuestión relativa ya que la mera comparación directa no se acepta en

términos científicos como forma para responder a la pregunta de si un programa es más

eficaz que otro. La respuesta metodológica adecuada son los estudios experimentales

acudiendo a diseños específicos de comparación entre programas o para apreciar las

ganancias del programa mediante diseños de carácter longitudinal.

La realidad educativa es compleja y es difícil de alcanzar lo que se conoce como validez

interna (que los resultados medidos en la variable dependiente se deban sólo a las variables

independientes).

La propia complejidad de los programas, el hecho de que son “realidades de campo” y

nunca de laboratorio o su larga duración, hacen inviable el modelo.

Una figura clave de este enfoque es SCHUMAN (1967) cuya idea básica es considerar la

evaluación como una actividad científica, necesitada del método científico; según él, la

investigación evaluativa debía acercarse a las exigencias de la metodología científica y

reconocía que tal investigación se orientara más a la valoración y al logro de los resultados

eminentemente útiles que a la generación de conocimientos.

8.1.2. Modelos orientados a los procesos

Ya se ha comentado que la carencia más importante del modelo de Tyler radica en que la

evaluación no ofrece la información suficiente y adecuada, para tomar las decisiones que permitan

mejorar el programa. La información sobre los procesos de implantación e implementación de los

programas resulta de suma utilidad y necesidad; es una consideración de la evaluación más amplia

que la de Tyler que permite la toma de decisiones durante el proceso de su aplicación.

Los resultados alcanzados por un programa pueden tener en su origen una determinada forma de

desarrollo del programa.

Tanto BIGMAN como SCHUMAN reconocen la importancia de las razones del éxito y del fracaso,

de los principios que subyacen en los programas y la identificación de los medios que dan lugar al

logro de los objetivos, siendo necesario el análisis y evaluación de los procesos tanto de programas

como de instituciones.

8.1.3. Los modelos Complejos 1. La propuesta de STAKE

Es uno de los autores más prolíficos en aportaciones a la evaluación de programas. Su

modelo es conocido como el “de la figura”(1967); hubo otras aportaciones en los años 70

conocida como “evaluación respondiente”, y también participó en la conferencia celebrada

en Cambridge que configuró la “evaluación iluminativa”.

Las líneas básicas del modelo de la figura son: (Ver figura 1, pg 115).

- Descripción del programa, concretado en las operaciones, resultados y antecedentes

previstas o supuestas y en las que realmente ocurren. Reconoce que la evaluación debe ser

valorada por todos los implicados en el programa.

- Diversidad de datos. Este autor junto a la descripción, el juicio y la base lógica distingue

tres grandes grupos de información:

Las referidas a los antecedentes, transacciones y resultados. Y dos tipos diferenciados de

información tanto para la descripción (intenciones y observaciones) como para el Inicio

(Normas y juicios).

- Análisis de las contingencias y las congruencias entre los antecedentes que se plantearon y

los que realmente se han logrado.

2. El Modelo CIPP: ( Contexto, Input (entrada), Proceso y Producto). La aportación de

STUFFLEBEAM. Recoge una evaluación Inicial, seguida de la Procesual y de la Final,

complementada con la institucionalización de la evaluación de forma que estos tres

elementos constituyan un bucle con sucesivas realizaciones. Esta propuesta viene

alcanzando un especial reconocimiento. Cada una de las cuatro categorías (cipp) se cruza

con tres ejes o elementos: Objetivos, Método y Toma de decisiones (Ver cuadro 2, pg 117 y

siguientes).

3. La Propuesta de Pérez Juste referida especialmente a programas educativos. Se sintetiza

de la siguiente manera.

Primer momento: Evaluación del programa en cuanto tal

Es la actividad evaluativa más importante por ser la primera y base de las demás.

Finalidad:

- Establecer la calidad técnica del programa, su viabilidad práctica y su evaluabilidad

- Ponerlo en marcha en condiciones óptimas

Función:

- Formativa y en ocasiones sumativa sobre el programa o su evaluación

Metodología:

- Análisis de contenidode documentos; estudios prospectivos; técnica delphi; juicio de

expertos; registros;

Información a recoger:

- Sobre el programa: su fundamentación, su formaulación y su relación con las necesidades,

carencias y demandas de los destinatarios.

Criterios:

- Calidad, pertinencia y realismo de objetivos así como su adecuación a los destinatarios y al

contexto.

- Suficiencia de los apoyos, medios y recursos para conseguir los objetivos

- Calidad técnica de los planteamientos de la evaluación

-Calidad técnica del programa

- Viabilidad del programa y su Evaluabilidad

Decisiones:

- Generalmente formativas y en casos graves sumativas (retirada del programa,…)

Segundo momento: Evaluación del proceso de implantación del programa

Finalidad:

- Facilitar la toma a tiempo de decisiones de mejora

- Acumular información para introducir mejoras en futuras ediciones

Función:

- Formativa y en casos extremos sumativa

Metodología:

- Recogida de información: Observación, diálogos, entrevistas, análisis de tareas,..

- Análisis de la información: sesiones de grupo, debates,..

Información a recoger:

- Sobre el desarrollo del programa

- Sobre resultados intermedios

- Sobre efectos no planeados

Criterios:

- Cumplimiento; coherencia institucional; eficacia parcial; satisfacción de los implicados

Decisiones:

- Ajustes parciales

- En casos extremos, suspensión de la aplicación del programa

Tercer momento: Evaluación de los resultados de la aplicación del programa

Finalidad:

- Comprobar la eficacia del programa

Función:

- Fundamentalmente sumativa.

- Cuando sea posible sumativa formativizada

Información a recoger:

- Resultados en relación con los objetivos

- Efectos, positivos o negativos, no planeados

Criterios:

- Eficacia, eficiencia, efectividad, satisfacción, impacto

Referencias:

- Situación de partida: el programa frente a sí mismo --- progreso

- Niveles preespecificados (evaluación criterial) ----- logro del dominio

- Niveles de otros programas ---- superioridad

Decisiones:

- Sumativas: mantener o suprimir el programa

- Formativizadas: mejorar el programa para una nueva edición.

8.1.4. Los Modelos Cualitativos Surgen como un planteamiento alternativo a los modelos previos (1972) entre los profesionales se

encuentran Stake y los británicos Parlett y Hamilton que proponen la evaluación Iluminativa. Su

postura es crítica con respecto a los planteaminetos anteriores; fundamentan su crítica en la

inadecuación para poner de relieve la complejidad de los fenómenos evaluados y apuestan por el

modelo cualitativo, naturalista o interpretativo.

En sus obras destacan la importancia del contexto en que se desarrollan los programas. Este modelo

da gran importancia al sistema de enseñanza y al medio de aprendizaje. Para estos autores, una cosa

es el programa definido y otra lo que ocurre realmente en las aulas. La importancia concedida a

estos cambios es muy grande.

El interés lo centran, no tanto en la valoración de los resultados como en la descripción exhaustiva

de los programas para comprender la compleja realidad educativa. Para ello acuden a una mayor

variedad de técnicas para la recogida de información, entre las que destacan: la entrevista y

observación, las fuentes documentales que permiten conocer los antecedentes y el contexto, y los

propios test y cuestionarios.

La Evaluación Iluminativa se desarrolla en tres grandes etapas:

1ª. La de la Observación para conocer el conjunto de elementos y variables que inciden

sobre el programa.

2ª. De Investigación seleccionando las cuestiones más relevantes del programa en su

contexto de referencia.

3ª. La de la Explicación manifestando los principios subyacentes a la organización del

programa, estableciendo las relaciones de causa a efecto.

TEMA 9 LA EVALUACIÓN DE INSTITUCIONES 1. INTRODUCCIÓN

La evaluación de instituciones pretende determinar el nivel de calidad de las actividades formativas que tienen lugar en su seno, así como los resultados que de las mismas se derivan. Debemos reseñar que la institución se configura como el marco natural del cambio, por lo que se hace sumamente importante y transcendente su evaluación. También añadimos la preocupación

constante por el tema generalmente ligada a la calidad de la educación. Para Cardona (1994), las causas que justificarían una verdadera evaluación de centros e

instituciones formativas, se concretan en: - El nuevo concepto de centro como organización formadora (como factor del modelo didáctico). - El conjunto de fenómenos de naturaleza social y política. - Las innovaciones producidas en la propia teoría de la evaluación. - La emergencia de un cuerpo normativo que implemente las causas ya citadas.

En consecuencia, en el momento de abordar el estudio del tema el alumno debe

comprender qué entendemos por la evaluación de las instituciones y su clarificación conceptual. También es importante analizar aquellos elementos más significativos que intervienen en la evaluación de las instituciones sociales y educativas. Para concluir con una reseña práctica que proponemos en el desarrollo de esta tarea evaluativa y que se centran en aquellas variables más significativas que deben ser conocidas por los educadores sociales para su actividad de futuro. Sin pretender ser unas recetas generales pretendemos que sirvan como referencia de un tema de especial interés profesional.

2. ¿QUÉ ENTENDEMOS POR LA EVALUACIÓN DE INSTITUCIONES?

Hoy en día la evaluación no es únicamente un instrumento de control, sino que también es un instrumento de cambio y mejora de los programas y las instituciones, pues se evalúa para

transformar la realidad socio-educativa. En una primera aproximación podemos considerar la evaluación de instituciones como una parte de la investigación evaluativa. Su consideración como investigación debe llevar asociada la rigurosidad de los procesos en su diseño, ejecución y valoración. Así pues, la evaluación de las instituciones consistirá en un proceso sistemático, organizado y reflexivo que nos permite profundizar en los agentes y su funcionamiento en sus contextos particulares de actuación socio-educativa. Debe tener como finalidad la obtención de información válida y valiosa sobre la institución, así nos ayudará a la toma de decisiones de mejora, no solo sobre la propia institución, sino sobre el personal implicado en la misma. La evaluación se justifica por cumplir un mandato de los clientes o de la organización y para tratar de justificar las decisiones que se toman. Por lo tanto, debemos tener claro y debidamente justificadas las razones para llevar a cabo esta tarea técnica: - Da un sentido y una responsabilidad al proceso socio-educativo. - Identifica fortalezas y debilidades en el proceso evaluativo. - Detecta problemas relevantes que deben ser reorientados. - Satisface necesidades de los colectivos sociales y educativos. - Proporciona información útil y valiosa para la toma de decisiones. - Identifica los mejores recursos al servicio de la tarea evaluadora. - Informa sobre los costes de la evaluación. - Documenta los resultados alcanzados en el proceso. - Ofrece información sobre los impactos de los planes, programas, etc. - Investiga sobre la tarea cotidiana y compromete al personal implicado. Esta propuesta evaluadora, debe ofrecer una respuesta eficaz a los interrogantes planteados.

También será preciso tomar como referencia el contexto donde desarrolla su tarea la institución, pues no podemos afirmar que existan propuestas únicas, sino que será el evaluador o el equipo de

profesionales el que debe elegir el mejor camino en el logro de sus objetivos. Entendemos que la evaluación de instituciones es un proceso sistemático, participativo y

dinámico que nos ofrece información sobre el estado de la institución; analizando la eficacia y la eficiencia de la misma, así como la pertinencia y los resultados alcanzados en sus cometidos y acciones, todo ello dirigido a recoger información para la toma de decisiones de mejora. Cuando hablamos de proceso sistemático nos referimos a tener claridad sobre cuál es la información que importa recoger y de dónde surge esa información, quién o quiénes son los responsables de recopilarla y cuáles son los usos que se hará de ella. La evaluación de las instituciones se debe caracterizar por su objetividad, dado que ha de captar la realidad, superar las ideologías previas y los intereses personales y de los grupos comunitarios, es decir, recoger aquello que realmente se quiere. Por su parte la validez busca la coherencia y la congruencia entre los supuestos teóricos y el desarrollo práctico. Pero ante todo debe ser didáctica. Los diferentes autores consultados tienden a coincidir en los principios que deben regir una evaluación de calidad en las instituciones. Son los siguientes: - Relevancia: guardan relación con los grandes fines formativos de la institución. - Integridad: supone un desempeño laboral responsable y ético de la institución, que se refleja en el respeto a las normas, a los derechos de las personas y a las condiciones éticas. - Eficacia: mide el grado de congruencia entre las actuaciones planificadas y los logros obtenidos. - Eficiencia: consiste en la capacidad de las personas para alcanzar el efecto determinado. Cuando llevamos a cabo la evaluación de instituciones pretendemos mejorar la calidad educativa de la institución, a través de los siguientes objetivos: - Conocer la situación de partida de la institución socio-educativa.

- Presentar un modelo adecuado de actuación. - Detectar las dificultades que puedan presentar en su desarrollo. - Analizar los elementos positivos del modelo. - Regular el proceso de aplicación continua. - Recoger los resultados alcanzados al final del periodo de puesta en marcha. - Valorar los resultados obtenidos. - Mejorar la comprensión que las personas implicadas tienen de su propia institución. - Elaborar propuestas de mejora en la institución. Por ello, los numerosos ámbitos propios de la actuación socio-educativa nos sirven como referencia de la gran cantidad de instituciones y grupos que se ocupan de la atención social y educativa de las personas más vulnerables de la sociedad del siglo XXI. Estos campos de intervención no son exclusivos de los profesionales de la educación, sino que los han de compartir con otros profesionales como pueden ser los pedagogos, los trabajadores sociales, los psicólogos, los sociólogos, etc.

3. LOS ELEMENTOS DE LA EVALUACIÓN En la realización práctica de la evaluación de los centros e instituciones de educación social debemos tener en cuenta el proceso seguido en su desarrollo práctico. Ahora bien, es importante señalar como punto de partida aquellos factores que deben ser una referencia obligada para futuras actuaciones. En concreto, señalaremos los siguientes: - Los fines y los objetivos de la evaluación. - Las metas a corto plazo. - El sistema organizativo de la institución. - El liderazgo del grupo. - El personal que trabaja en la institución (docentes, agentes, trabajadores). - El clima de la institución. - El contexto social en que se inserta. - Los recursos disponibles (personales, materiales y económicos). - Las personas a las que se atiende (implicación y participación). - La familia y sus relaciones con la institución. - Los procesos formativos de aprendizaje. - Los efectos de la intervención socio-educativa. - Los resultados alcanzados por: los sujetos, los agentes y la comunidad. - El impacto social. La evaluación institucional exige una planificación de la actuación con vistas a lograr una mayor eficacia en cuanto al logro de los objetivos señalados, la adquisición y disposición de los recursos pertinentes y la satisfacción de sus componentes. Delimitar el campo de la evaluación es muy importante, pues exige haber definido qué se va a evaluar y precisar objetivamente los objetos, los sujetos, los procesos, servicios y acciones desarrollados por el personal. Naturalmente todo ello se especificará en las fases del proceso que se podrían concretar: - Decisión de llevar a cabo la evaluación. - Identificar y definir los sujetos, el objeto, los procesos, los servicios, las condiciones, los aportes esperados, las posibilidades, las limitaciones, etc. - Los recursos disponibles: de personal, de materiales en el entorno,… - Liderazgo del proceso por especialistas en el campo de la evaluación y la investigación. Algunos de los autores consultados insisten en que para llevar a cabo una buena evaluación de de instituciones es necesario prestar una adecuada atención a los siguientes aspectos: - Análisis de los contextos de intervención (proximidad e implicación). - Cuidar las relaciones interpersonales entre los agentes implicados.

- Interpretar de forma adecuada los hechos o los fenómenos socio-educativos. - Dar valor a los procesos que conducen a un fin. - Incorporar la opinión de los protagonistas de la institución: autoridades, agentes, sujetos, comunidad. - Valorar la visión estructural de las instituciones que atiende a su organización. - Priorizar la visión cualitativa de la evaluación institucional. - Crear hábitos y actitudes entre el personal implicado en la tarea. Por su parte Gómez Sierra (2006) señala que en la evaluación llevada a cabo en educación social, se pueden enumerar una serie de rasgos o características transversales inherentes a esta tarea: - Contrarios a los diseños estandarizados de evaluación, siendo partidarios de diseños específicos y contextualizados. - Pluralidad de los diseños de evaluación, como respuesta a la pluralidad de programas e

instituciones. - Percepción de la evaluación como elemento de cambio y no de control, buscando el equilibrio entre estas dos dimensiones. - Visión democrática, social y participativa de la evaluación, pues no está solamente al servicio de los patrocinadores, sino también de los usuarios y del conjunto de la sociedad. - Diseño evaluativo según criterios y requisitos científicos, pero que debe llevar asociada una aplicación flexible y dinámica. - Evaluación externa, pero de iniciativa interna y con la participación de los diversos sectores implicados. - Pluralidad metodológica: cuantitativa, cualitativa y mixta. Se defiende la pluralidad y la complementariedad de los métodos de trabajo. - Evaluación del diseño y de la evaluabilidad, de ejecución y proceso, de producto, así como de los costes. Esto implica que no se deben ignorar aquellos aspectos que no estaban previstos. - Evaluación aplicada, es decir, no se busca tanto la producción de conocimientos científicos y académicos como la valoración de estos servicios para mejorarlos. - Evaluación de producto, pero también de proceso, con ser importantes los efectos de los resultados alcanzados, también es importante contemplar los aspectos cualitativos y procesales. - Cantidad y calidad son dos dimensiones complementarias que han de ir asociadas. Se deben evitar visiones reduccionistas de la realidad estudiada. - Evaluación de los efectos secundarios y no previstos inicialmente: eficacia y de resultados, pero también de efectividad y de impacto. - Evaluación de los efectos a largo plazo. Exige prudencia en las interpretaciones a corto plazo y puntuales. - Evolución de las evaluaciones mediante series temporales largas. Una buena evaluación debe ser permanente y repetida, frente a las evaluaciones puntuales y a corto plazo. - Evaluación aproximativa, no absoluta ni definitiva. Sus resultados y conclusiones no deben ser

interpretadas en sentido definitivo ni absoluto, puesto que han de ser contrastadas. Tomando como referencia todas estas consideraciones será posible llevar a cabo propuestas de evaluación de instituciones socio-educativas de forma adecuada y que nos permitirá conocer a fondo su funcionamiento interno y los logros alcanzados.

4. DESARROLLO DE LA EVALUACIÓN DE INSTITUCIONES Uno de los elementos esenciales en este campo viene marcado por el sistema organizativo presente en la institución que se somete a evaluación. Así los valores sirven como origen y guía en torno a los que se construyen el resto de los componentes, ello supone que deben delimitarse los fines, objetivos y propósitos. Para alcanzar esos objetivos la organización necesita realizar diferentes actividades relacionadas de un modo dinámico.

También interviene el sistema de relaciones entre las personas participantes de acuerdo con sus necesidades y expectativas individuales, conocimientos y posibilidades tecnológicas, formas de relación que conforman el denominado clima organizacional. Se concede mucha importancia a los procesos de innovación y cambio y cobran suma importancia los elementos organizativos, es decir, humanos, materiales y funcionales; que dan pleno sentido a las instituciones. También se contemplan las diferentes modalidades de organización a partir del

sistema relacional, además de otros aspectos como el liderazgo, la toma de decisiones, la participación o los procesos de comunicación. En toda evaluación institucional debemos identificar tres tipos de variables que serán necesarias conocer e identificar: A) Variables de entrada. Son necesarias para poder llevar a cabo la evaluación, deben afectar tanto a las condiciones de partida como a los recursos personales y contextuales. - Datos personales de los agentes sociales. - Liderazgo institucional. - Relaciones dentro del grupo. - Características personales y sociales de los participantes. - Recursos personales y materiales en la institución. - Apoyos de las autoridades responsables de los proyectos. - Relación con el contexto social. B) Variables de proceso. Se refieren al funcionamiento de la institución y se centran en el análisis de las diferentes alternativas que ponen en marcha los agentes sociales y el personal del centro de trabajo, para que los sujetos participantes alcancen los objetivos previstos: - Planificación de las actuaciones en el trabajo cooperativo. - Temporalización de las intervenciones. - Objetivos bien formulados y evaluables. - Propuesta y desarrollo de actividades dirigidas al grupo. - Recursos adecuados para la realización de actividades. - Sistema organizativo de la institución - Implicación de los agentes sociales. - Participación de los sujetos en las actividades. - Opinión sobre el funcionamiento de la institución. C) Variables de producto. Nos permitirán constatar el nivel de logro de los programas desarrollados en las instituciones y si éstas son capaces de atender a los sujetos de la intervención comunitaria, de tal forma que se sientan partícipes de la misma. - Resultados alcanzados. - Nivel de logro de los objetivos. - Satisfacción de los participantes y de la comunidad. - Satisfacción de los agentes y del personal. - Decisiones sobre el funcionamiento de la institución. - Propuestas de mejora. - Plan de seguimiento y valoración. Esta propuesta práctica para llevar a cabo la evaluación de instituciones, puede ser de utilidad para los estudiantes, que en un futuro profesional han de llevar a cabo actuaciones en sus centros de trabajo.

TEMA 10. MODELOS PARA LA EVALUACIÓN DE INSTITUCIONES

1. LA EVALUACIÓN DE INSTITUCIONES

Toma como punto de partida la identificación compartida y consensuada por

los distintos agentes sobre aspectos considerados dentro de una estrategia

global de educación, que son los ejes que sustentan esta actuación. Parte

de 3 grandes dimensiones interrelacionadas entre sí:

- Organización y gestión: Hace referencia a los aspectos estructurales que

se dan en cada institución, que condicionan su funcionamiento y afectan

a cuestiones de gobierno y gestión.

- Pedagógica-didáctica: Recoge actividades que diferencian a las

instituciones. Su ejej básico está marcado por el vínculo entre agentes

que generan el conocimiento y los modelos didácticos. Todos los

aspectos vincualdos con la organización y el desarrollo curricular.

- Comunitaria: afecta a todos los aspectos que vinculan la institución con

el entorno en que trabaja. Debe incluir acuerdos con entidades locales,

actividades formativas, y emprender acciones institucionales dirigidas a

la comunidad, a los receptores para promover cambios en el entorno

socioeducativo.

2. ENFOQUES PARA LA EVALUACIÓN DE INSTITUCIONES

Según algunos autores, como CARDONA, indica como base dos

dimensiones diferenciadas: la técnica-pedagógica y la institucional-

comunitaria.

PÉREZ JUSTE, en la evaluación de centros e instituciones distingue:

- El enfoque holístico o global que aborda la realidad tal y como se

presenta, las relaciones entre los componentes y la elaboración de

indicadores de evaluación.

- El enfoque parcial, focaliza puntos concretos del centro y los analiza.

- El enfoque mixto: parte de un análisis global del centro, detecta los

aspectos significativos, actua desde una perspectiva parcial y focalizada.

DE MIGUEL, y otros autores se inclinan por considerar dos grandes bloques:

los que destacan los resultados y los que se centran en los procesos internos.

Desde la perspectiva de la implicación y de la responsabilidad de los

participantes, se establece una distinción entre la Evaluación interna y externa,

depende si la llevan a cabo los protagonistas directos de la enseñanza o por

agentes no vinculados directamente al proceso didáctico.

3. LA EVALUACIÓN INTERNA O AUTOEVALUACIÓN

Tiene su base de actuación en una serie de principios:

-Autonomía institucional: Para tomar decisiones, analizar y mejorar los

procesos.

-correspondencia entre objetivos y resultados: comprobar la conexión que

existe entre lo que la institución ha propuesto en su proyecto y los

resultados que alcanza.

- Participación activa de todos los agentes de la institución: compromiso

activo de lodos los integrantes de la comunidad socio-educativa.

- Adecuación al contexto: condicionado por el entorno y la comunidad

- Retroalimentación entre institución y agentes implicados para promover

cambios que mejoren la gestión institucional y pedagógica.

La evaluación interna o autoevaluación, promueve el diálogo, prioriza los

objetivos, facilita la toma de decisiones y adecua el funcionamiento de la

institución al contexto en que se desarrolla. Es un proceso participativo y

consensuado entre los agentes, de utilidad para interpretar, cambiar y mejorar

las prácticas sociales y educativas que se llevan a cabo en las comunidades.

Ventajas: mayor implicación personal de los agentes, calidad de los datos

recogidos, se respeta la intimidad de la persona, desarrolla capacidades de

observación, análisis y detecta causas y procesos, mejora el perfeccionamiento

profesional docente y de gestión.

Inconvenientes: carácter individualista de la función docente, el personal se

resiste a manifestar su intimidad, escasa motivación profesional, limitación

temporal, ocultación de problemas…. A pesar de las limitaciones se

recomienda el fomento de evaluaciones internas.

4. EVALUACIÓN EXTERNA

Según NEVO, también se precisa demostrar su eficacia, su mérito, frente a

otras propuestas, para su comparación. Esto lleva consigo una postura abierta

y positiva pro el propio centro. Favorece el desarrollo personal y la mejora de la

institución. Cuando se promueve desde dentro, los evaluadores cumplen un

cometido técnico de apoyo y asesoramiento al personal del centro, aprotan

experiencias, conocimientos, etc, al servicio de la institución.

Cuando la propuesta es desde fuera, sus objetivos básicos se centran el la

comprobación de los niveles de cumplimiento en los logros, el control del

funcionamiento, los recursos, etc., los evaluadores actúan como representantes

de la Administración o de la Empresa, que realiza el encargo. El riesgo de esta

modalidad radica en que puede ser entendida como elemento de contro y

sanción por los propios trabajadores, originado rechazos y ocultación de

información, conviene promover la negociación entre las partes y recurrir a la

triangulación de fuentes, técnicas e instrumentos.

Ventajas. Preparación y cualificación del personal responsable, visión objetiva

del centro, garantías de mantener el anonimato, etc.

Limitaciones: actuación pasiva de los trabajadores, ocultación de datos, coartar

iniciativas individuales, etc.

5. LA EVALUACIÓN MIXTA

Es una propuesta que integra a la evaluación interna y externa, se puede hacer

uso de las dos. Las propuestas arrancan con una evaluación interna y cuyos

resultados deben ser contrastados por unos evaluadores externos.

6. EVALUACIÓN PARTICIPATIVA

Se identifica con la evaluación interna, trata de lograr una integración de tareas

entre profesionales, los clientes y los usuarios. Criterios:

- Negociación entre el personal, especificando los motivos, los intereses,

funciones y necesidades.

- Colaboración para llevar a buen término la tarea social y educativa de la

institución.

- Confidencialidad de la información manejada y transmitida

- Imparcialidad respetando los diferentes puntos de vista

- Equidad aceptar réplicas y discusión de los informes

- Compromiso con el conocimiento colectivo e individual para indagar

sobre las causas, motivos y razones de los acontecimientos estudiados.

7. EVALUACIÓN NORMATIVA.

Surge al comparar los resultados grupales y generales con la norma

establecida. Exige una escala o norma de referencia que permita justificar, ante

la sociedad, que un individuo reúne los requisitos exigidos para promocionar en

su actividad profesional y personal. Exige una referencia que nos permita

comparar la institución evaluada con otra que se tome como patrón para

evaluar los comportamientos y logros de la institución a evaluar.

8. EVALUACIÓN CRITERIAL

Implica partir de las condiciones personales de los sujetos, para conocer que

se puede y que se debe exigir en los contextos de actuación y constatar si los

objetivos se han alcanzado, los criterios de esta evaluación.

- Pertinencia, cuando es capaz de ofrecer una respuesta adecuada a las

necesidades.

- Coherencia, con las necesidades de la comunidad

- Suficiencia y adecuación de objetivos para dar respuesta a los

problemas, tener en cuenta a los destinatarios y los recursos.

- Eficacia, constatar los logros alcanzados según las previsiones iniciales.

- Eficiencia, aspirar a los mejores resultados

- Satisfacción, de los agentes responsables de la institución y de los que

participan en la evaluación.

Uno de los problemas a asumir el educador social, es la redacción de informes

basados en la evaluación de la institución de la que forma parte, bien para

conseguir recursos económicos o para rendir cuentas a las autoridades

académicas y administrativas de lo que depende que el centro siga

desempeñando su tarea comunitaria.

1

TEMA 12. EL PRINCIPIO DE COMPLEMENTARIEDAD.

1. COMPLEMENTARIEDAD METODOLÓGICA

Como autores más representativos de este principio,García Hoz, Smit, Husen… Cook yReichardt, concluyen: que un paradigma consta de una concepción filosófica global y deun nexo con un determinado método de investigación. La definición de paradigmadetermina el método. Su elección depende, en parte, de la situación de investigación deque se trate.

En cuanto a la Compatibilidad de métodos tanto cualitativos – para los procesos- comocuantitativos – para evaluar los productos o resultados- ofrecen mayor precisión yenriquecen el conocimiento de una misma realidad.

Ambos autores argumentan que la Investigación Evaluativa puede ser sucesiva ysimultánea, que ambos métodos – cualitativos y cuantitativos- requieren de múltiplestécnicas “Multiplismo”, cuyos componentes fundamentales son: Acudir a enfoques teóricosmúltiples. Plantear objetivos diferentes. Diferentes modelos de evaluación, someter aprueba modelos causales multivariados. Plantear variedad de hipótesis y alternativas.Elaborar definiciones operativas, llevar a cabo análisis de datos. Hacer diferentesvaloraciones, recogiendo puntos de vista de las diferentes partes implicadas (audiencias).

También dejan constancia de las dificultades de este principio, que tienen que ver con lacapacitación de los investigadores para poder afrontar ambas metodologías, que pueden,ser superadas mediante el trabajo en equipos de investigación, así, como las dificultadesde tiempo a la hora de cumplir con los plazos y exigencias de los acuerdos que dieronlugar a la evaluación, y las dificultades de los recursos.

En cuanto al Acto Educativo se considera de naturaleza compleja en relación con losobjetivos a evaluar, de los objetivos de los programas y de su evaluación, cuyos aspectosmás destacados se encuentran en la:

Intencionalidad ligada a la Sistematicidad como la acción intencional de los educadores(heteroeducación) y. de la propia persona que responde a un plan intencional elaborado, enel que se distingue una orientación general o finalidad, unos objetivos de mayor o menoramplitud o concreción y un conjunto articulado de medios y recursos. Este tipo deeducación se concreta en unos resultados que son indicio del grado de eficacia de losprocesos educativos que plantean la necesidad de educación permanente.

El Análisis del Acto Educativo es un acto radical y profundamente humano. Laindeterminación y el libre albedrío, le permite optar entre alternativas, y la necesidad de sucooperación para alcanzar las metas que le propone la sociedad a través de loseducadores, constituyen la esencia del acto educativo, que se realiza en diferentescontextos de relaciones humanas – personales, de amistad y profesionales- que soncondicionantes que pueden entorpecer o estimular la educación.

2

2. MÉTODOS Y TÉCNICAS EN LA EVALUACIÓN DE PROGRAMAS

Se resume: a fuentes diferentes productoras de datos como son:

- El usuario del programa que manifiesta sus logros, la satisfacción con quedesarrolló el programa y la que alcanzó al finalizarlo tanto como partícipe como porlas consecuencias positivas para el de dicho programa.

- El observador independiente, que recoge evidencias a través del comportamientoen situaciones ordinarias o provocadas.

- Y las personas que sin haber hecho el programa aprecian cambios positivos onegativos, suficientes o no, …

Además de estas fuentes hay que sumarle la información distinta… técnicasdistintas que ofrecen una visión más fiable y válida sobre lo que ha supuesto elprograma. En cuanto, a las

3. ESTADÍSTICAS de las sociedades más modernas se recogen datos a través de muydiversas fuentes tanto públicas como privadas, de los Censos periódicos queindican el estado de determinados servicios que ofrece la comunidad, como desalud, trabajo, ocio, las condiciones de vida…, que nos permiten saber cuáles sonlas carencias objetivas de nuestra sociedad.Los ministerios, las consejerías autonómicas, mediante encuestas periódicas,registros…En el ámbito de la educación una fuente importante de información es la elaboradapor el actual INECSE (Instituto Nacional de Evaluación y Calidad del SistemaEducativo), También las páginas web, folletos como el de Datos y Cifras elaboradopor la Oficina de Estadística. Las ONGs, entre ellas Cruz Roja, constituyen unimportante acervo de información y datos al que es posible acudir para justificar unprograma y darle la forma adecuada. Las Estadísticas Europeas, Eurostar, nos danreferencias supranacionales.

Este tipo de información reúne dos importantes ventajas, su periocidad ysistematicidad, que aporta una dimensión diacrónica que nos permite apreciar suevolución, y hasta convertir los datos en una especie de Línea Base.Como inconvenientes derivados de la metodología empleada para su recogida enrelación con el concepto Dato, que debe estar precedido de una posición analítica ycrítica que nos permita decidir sobre su idoneidad para nuestros propósitos.

4. INDICADORES son datos, que sirven para mostrar algo mediante indicios o señales.El carácter indirecto es uno de los elementos fundamentales, junto a él, susistematicidad y naturaleza cuantitativa.

3

Se refieren a variables estables, modificables y comparables al servicio de unconjunto de objetivos, entre ellos, los de identificar los puntos fuertes y débiles delsistema, ayudar a su mejora continua, disponer de información para compararse conotros sistemas, rendir cuentas ante la sociedad, valorar los resultados obtenidosfacilitando la toma de decisiones y contar con referencias y con modelos dereferencia.En el contexto de referencia, son dos las aportaciones fundamentales de lossistemas de indicadores para la evaluación de programas.

- Proporcionar información sobre las carencias objetivas y

- Ofrecer información de referencia a la hora de valorar la eficacia de los programas.

1

TEMA 13. LAS APORTACIONES DE LOS EXPERTOS

1. LA CONSULTA A EXPERTOS

Se puede realizar por diferentes vías, desde “la entrevista en profundidad” a la encuesta a través del cuestionario, por correo tradicional, por correo electrónico pasando por la visita de encuestadores.

Las consultas a expertos utilizan como fuente de información a personas que poseen un conocimiento elevado sobre el tema o problema a tratar.

El GITC (Grupo de Investigación de Tecnologías de la Información y Comunicación) considera que la técnica Delphi es la más adecuada cuando se carece de datos históricos sobre el tema, cuando el impacto es mayor en los factores externos que en los internos y cuando lo ético y lo moral predomina sobre lo económico y tecnológico en un proceso de cambio.

Ésta técnica tiene sus ventajas e inconvenientes, pero lo que éste método pretende es lograr compaginar en mayor grado las aportaciones con el control de las limitaciones.

Es adecuada en la evaluación inicial del programa para detectar necesidades, carencias, demandas y expectativas que la mayoría de las personas no las reconocen como tal, para ello es necesario consultar a expertos que por su experiencia las reconocen, identifican y las caracterizan.

La gran aportación de Delphi, se realiza mediante un proceso sistemático, donde en un documento se recogen las aportaciones y posiciones de varios colegas.

Se distinguen varios tipos de expertos que deben ser seleccionados con criterios técnicos, a sí, como el número de ellos y su representatividad, en relación con los diversos ámbitos.

La ténica Delphi, es un proceso, realizado mediante consulta por vía de cuestionario, garantizando que los instrumentos sean válidos y fiables, también a ésta técnica se le conoce como Método Delfos, es una técnica de grupo, surgida a mediados de los 60 (1964), al servicio de objetivos de innovación, prospectiva y creatividad. Como características fundamentales:

- La discusión entre expertos, a través de una persona que coordina el grupo, envía y recoge la información, garantizando el anonimato para evitar la presión del grupo.

- La información es escrita y se plasma en un cuestionario. - Es un proceso iterativo de consulta donde los expertos emiten sus

valoraciones, conocen las de los demás hasta llegar a un consenso.

Un experto, es toda persona que emite aportaciones y valoraciones relevantes en relación con el objeto de consulta, puede considerarse como un informador clave.

2

2. PROCESO

Delphi tiene un carácter sistemático, reúne condiciones de rigor y responde a un plan de acción. Como condiciones exigibles están la Planificación y la sistematicidad.

Planificación una vez seleccionada la técnica más adecuada para el tipo de información que queremos recoger para la evaluación, establecemos el plan de aplicación: fijando el contenido de la consulta, establecer criterios para la selección de los expertos, decidimos los momentos en que se aplicará la consulta y la duración prevista. Elaboramos el documento, seleccionamos a los informantes, se toma contacto con ellos y se expresa las condiciones para proceder a su aplicación (3 envíos) y se concluye con el informe.

3. CONCEPTOS BÁSICOS EN LA EVALUACIÓN DE ACTITUDES Y VALORES

ACTITUD se define como una predisposición aprendida y estable que reacciona valorativamente, de modo favorable o desfavorable, hacia personas hechos, objetos o situaciones.

La definición más conocida es la aportada por Allport la considera como un estado mental y neurológico de disposición, organizado a través de la experiencia, que ejerce un impulso dinámico y directivo sobre la respuesta de un individuo a todos los objetos o situaciones en los que está relacionado.

Las actitudes tienen una dimensión cognitiva, afectiva y conativa. Gagné, entre otros, afirman que se aprenden de modo incidental y en función de las condiciones que rodean a los sujetos, y que la educación, facilita la realización de comportamientos deseables.

VALOR incorpora tres componentes: el cognitivo, afectivo y conductual, según Pérez Delgado y Cols “los valores determinan la conducta y las actitudes…” , para los defensores de los valores, la creencia son formas de preferencia para el sujeto, y representan obligatoriedad, y, la preferencia se relaciona con la competencia, permiten el éxito, también se relaciona con la moralidad, hacer el bien para sí mismo, o para los demás o para las cosas.

Escámez considera que los valores son patrones que guían la vida del ser humano. Tienen una función dinámica, que sirve de estímulo a la conducta..

Constituyen un plan general que permite evaluar, resolver conflictos, tomar decisiones, así como mantener el autoestima, el autoconcepto para su mejora como persona.

Allport apoyándose en Jahoda, consideran que los valores favorecen la unidad de vida, como manifestación de la personalidad madura.

Las actitudes y los valores se concretan en su función orientada a la mejora de las personas mediante la evaluación sumativa, y la centrada en la eficacia de los programas, la evaluación formativa.

3

Según García Hoz, los Objetivos del Dominio afectivo son: Receptividad valorativa, reactividad de respuesta, aceptación, valoración, elección y realización (Ver cuadro 3, pág 364).

Las técnicas a utilizar deben estar en función de los aspectos seleccionados, en el caso del “conocimiento” serán más útiles las cognoscitivas y cognitivas, en las de “conformidad y compromiso” será más útil la de observación.

En cuanto a los Criterios deben fijarse los niveles a alcanzar-evaluación criterial- y establecer si se ha alcanzado o no el criterio preestablecido. Las Referencias han de ser personalizadas, tomando a la persona y a sus circunstancias como elementos de referencia que ayuden a valorar los niveles educativos que han alcanzado los alumnos (avance, progreso, compromiso personal…).

Como técnicas más adecuadas: las pruebas, para conocer la madurez intelectual. Las entrevistas tutoriales y la observación para comprobar los comportamientos, se lleva a cabo en los cuestionarios, inventarios, escalas…

4. LA AUTOEVALUACIÓN

Realiza importantes aportaciones por su notable valor formativo, a través de

ella el alumno conoce criterios, llega a capacitarse en su aplicación y a

seleccionar los mejores para valorar nuevas situaciones. Se puede considerar

desde dos perspectivas diferentes: Como actividades destinadas al logro de los

objetivos, y como técnica para recoger información pertinente, que habrá que

actuar de forma adecuada para evitar distorsiones, de las que Castell

denomina datos Q, la tendencia a dar respuestas conformes con la imagen

que se quiere dar ante los demás (deseabilidad social) o considerarlas

adecuadas o preferibles, y a responder afirmativamente, con independencia del

contenido de las cuestiones formuladas (Aquiescencia).

Evaluación de Programas Educativos. 4º Curso de Educación Social

Tema 14 ( libro –autor Ramón Pérez Yuste-)El análisis de la información y los datos: perspectiva cuantitativa y cualitativa. (temas XXI y XXII libro dereferencia)

1.- Del programa a los datos (442-443)

Conviene comenzar este capítulo con una advertencia general, válida también para el siguiente, en relación con su alcance. Tanto en sucaso como en otro, el autor no pretende sino ofrecer una panorámica general de dos amplísimos campos. El lector interesado deberáacudir a obras especializadas si desea dominar los conocimientos mínimos para poderlos aplicar en evaluaciones de programas-

Si recordamos nuestro concepto de evaluación y nuestro modelo/propuesta de evaluación de programas,seremos conscientes de que siempre es preciso recoger información –datos- si bien, como afirma Bunge, apesar de su nombre, los datos tienen poco o nada de “dados”, siendo preciso identificarlos, extraerlos, cuandono construirlos ex profeso para la situación.

Hemos podido conocer y analizar diversos procedimientos y técnicas para disponer de tales datos, desde suextracción, mediante técnicas como el análisis de contenido a su identificación por procedimientos de consultaa expertos, como el caso de la técnica Delphi o las entrevistas y cuestionarios, pasando por la tradicionalconsulta a usuarios y demás parte interesadas por medio de encuestas y cuestionarios o su obtenciónmediante procedimientos de observación y de comprobación a través de pruebas y escalas.

Es el momento de estudiar el procedimiento a seguir con tal información, generalmente conocido comotratamiento y análisis de datos.

14.1 DEL PRORAMA A LOS DATOS

Nuestra propuesta de evaluación de programas incluye tres momentos fundamentales:- La evaluación inicial del programa en cuanto tal,- La de su implantación e implementación- Y la de sus resultados.

El primero de tales momentos puede incluir o no el de la evaluación de necesidades, y que en el caso deprogramas que se aplica con la intención de pervivencia, esos tres momentos como tales tienen un sentidoespecial en el caso de que se institucionalice la evaluación.

En todos esos momentos, será preciso acudir a recoger información cuyo sentido será el de aportar lasrespuestas a las cuestiones de que se trate, y que ya han sido objeto de estudio a lo largo de la segunda partede esta monografía. Como ejemplos, podemos encontrarnos ante cuestiones como las siguientes:

a) ¿Cuáles son las necesidades, carencias y demandas, en el ámbito de la educación para la convivencia y la paz, en los jóvenesespañoles?

b) ¿Responde el programa objeto de evaluación a las necesidades y demandas detectadas?c) ¿Está fundamentado científica, técnica y pedagógicamente el programa?d) ¿Es viable en la práctica? ¿Es potencialmente evaluable?e) ¿Está resultando interesante y motivador?f) ¿Se está aplicando de conformidad con lo planificado?g) ¿Se da coherencia entre la filosofía del programa y el ambiente del centro educativo? ¿Y con su Proyecto educativo?h) ¿Se han alcanzado los niveles de logro previamente establecidos?i) ¿Está satisfecho el personal y los usuarios con el desarrollo y los resultados del programa?

Son más las cuestiones, pero sólo con estas tenemos suficiente para apreciar cuan diversa deberá ser lainformación a recoger y cuán diferente la forma de tratarla.

14.2 LAS GRANDES MODALIDADES DE TRATAMIENTO DE DATOS: ANÁLISIS DE DATOS CUANTITATIVOS (pp. 443-447)

A los efectos del tratamiento y análisis de datos podemos hablar de dos grandes modalidades, según setrate de información de naturaleza cuantitativa o de carácter cualitativo. Estudiaremos a continuación los decarácter cuantitativo.

14.2.1 Niveles o escalas de medida

Conviene comenzar situándonos ante el concepto de nivel o escala de medida. En función de la naturaleza delas variables y de las operaciones que podamos realizar con los valores a ellas asignados, distinguiremos cuatrograndes niveles o escalas:

NominalLas variables medidas a este nivel sólo nos permiten distinguir entre lo que es igual o diferente. Así, dos

objetos iguales recibirán el mismo número y dos objetos diferentes, números distintos. Nos hallamos ante loque se conoce como variables cualitativas, entre las que podemos citar, a modo de ejemplo, el sexo, la casesocial, el estado civil, la profesión, el lugar de origen, el nivel de estudios… También podemos tratarnominalmente variables cuantitativas, como puede ser el caso de las categorías “pasa” “no pasa” en unaprueba de Selectividad.

Los valores asignados a tales variables sólo nos indican que todo lo que tenga el mismo número es igual y loque reciba número diferente es distinto de los demás.

OrdinalLas variables medidas a este nivel nos permiten establecer rangos u órdenes, de mayor o menor o viceversa.

De este modo, podemos decir que un alumno es el primero de la clase, que las niñas obtienen mejorespuntuaciones que los niños en lenguaje, que los alumnos españoles se encuentran en el puesto vigésimo por sunivel de conocimientos entre los paises de la OCDE… Este tipo de variables se denominan ordinales, si bienotros autores prefieren utilizar el término cuasi-cuantitativas.

En estos casos, la diferencia entre dos rangos consecutivos no es constantes: puede ocurrir que entre elprimero y el segundo de los corredores al llegar a la meta apenas haya unos segundos, mientras entre elsegundo y el tercero pueda haber un intervalo de varios minutos. Por tanto, los rangos u órdenes serán:primero, segundo y tercero, pero las diferencias entre ellos pueden variar ampliamente.

De intervaloLas variables así medidas unen a las dos características anteriores la de poder establecer diferencias

constantes entre valores consecutivos y, por ello, comprobar cuántas veces una diferencia es mayor o menorque otra. Contamos, por tanto, con una unidad de medida constante.

Tal puede ser el caso de variables como la temperatura expresada en grados centígrados: entre 10º y 20º hayla misma diferencia que entre 60º y 70º, y la mitad que entre 30º y 50º. Sin embargo, no podemos afirmar que20º sea la mitad de 40º, sencillamente porque 0º no significa ausencia de calor. Para ese tipo de operacionesdebemos contar con un cero absoluto.

En el caso de la Educación, en el supuesto de alcanzar una unidad de medida constante para medir elaprendizaje, (En términos estrictos podemos decir que no lo lograremos. Sin embargo, cuando las pruebas se construyen con rigor y secuida su validez y fiabilidad, se suele trabajar como si lo hubiéramos conseguido)

El 0 no significa ausencia total de conocimientos sino simplemente el no haber respondido correctamente aninguna de las cuestiones que fueron objeto de examen mediante la prueba utilizada para medirlo.

Con este tipo de variables se pueden realizar las operaciones de suma y resta, y las de multiplicación ydivisión entre las diferencias de los número así asignados, pero no la multiplicación y división con talesnúmeros.

De razón o cocienteLas variables así medidas son plenamente cuantitativas; cuentan con unidad constante y origen o cero

absoluto, por lo que pueden realizarse con sus valores todo tipo de operaciones. Ejemplos claros e intuitivitosson los de la edad, el peso, la longitud, la altura… En nuestro ámbito podemos descartar, por lo general, estenivel de medida.

Reconociendo que la anterior clasificación de niveles o escalas de medida es, en realidad, arbitraria, no dejade ser útil para nuestros propósitos. Sin embargo es conveniente dejar constancia de que, en la práctica, no eshabitual un purismo en el uso y aplicación de estos principios, dado que con ello se impediría el uso de lasprincipales técnicas estadísticas, en especial las conocidas como pruebas paramétricas (Utilizadas en el contraste de

hipótesis; tal sería el caso de la t de Student o la F de Fisher (Análisis de varianza). Por ello, es frecuente tratar estadísticamentemuchas variables que están medidas a nivel ordinal, como si fuera de intervalos (Siempre que el número de rangos sea

amplio y se haya cuidado la construcción de los instrumentos utilizados para su medida), aplicándoles ese tipo de pruebas yestadísticos tan conocidos como la Media (principal medida de posición), la desviación típica o la varianza

(medidas más perfectas de dispersión o variabilidad) o rxy (correlación de Pearson. El índice más perfecto de losdisponibles.

Concluiremos este apartado haciendo notar la diferencia que puede darse entre las variables sobre las que serecoge información y las “medidas” de las mismas. Cuando nos referimos a los niveles o escalas de medida lohacemos en realidad a los valores obtenidos mediante determinados instrumentos.

En verdad que hay variables naturalmente nominales, como son los denominados atributos: sexo, clasesocial, estado civil… (Aunque caben precisiones: ¿no se puede hablar de personas más o menos masculinas o femeninas? ¿No se

puede estar más o menos cerca de una clase social suprior o inferior? pero variables “medidas” ordinalmente bien pudieranser plenamente cuantitativas, siendo el problema el de construir instrumentos o disponer de procedimientosadecuados para lograrlo. Por ejemplo: bien podría ser que el aprendizaje fuera una variable cuantitativacontinua, pero que nuestras pruebas estén muy lejos de poderlo poner de manifiesto.

14.2.2 Tratamiento de los datos

La información recogida a través de los diferentes instrumentos y procedimientos es traducida a valoresnuméricos –medida, si damos a este término un significado amplio- (Medir, en sentido amplio, es atribuir o asignarnúmeros a los objetos de acuerdo con ciertas reglas. En sentido estricto, es comparar una cantidad con una unidad de su mismanaturaleza. Con este segundo concepto muchos objetos o características de tales objetos no serían medibles en sentido estricto. En sentido

amplio podemos alcanzar las diversas escalas o niveles reseñados) llegando el momento de proceder a su tratamiento yanálisis, por lo general a través de la Estadística.

La Estadística es una ciencia, rama de la Matemática, que estudia los fenómenos aleatorios y la teoría de laprobabilidad. Como toda ciencia, tiene entre sus metas las de descripción, análisis y predicción. En sudimensión práctica, la Estadística aplica esos principios a la mayoría de los campos del saber, desde la Medicinaa la Pedagogía, pasando por la Sociología, la Psicología o la Biología.

Su tarea fundamental es la de establecer inferencias a partir de unos valores obtenidos en una muestra –conocidos como estadísticos- para generalizarlos a toda la población (parámetros). Este salto de los valoresmuestrales a los de la población se realiza sobre la base de la probabilidad de los fenómenos, lo que exigeconocer cómo se distribuyen para calcular sus probabilidades de ocurrencia. Este tipo de Estadística se conocecomo muestral o inferencial, dado que realiza inferencias de los valores muestrales a los poblacionales. Sinembargo, y previamente, la Estadística permite un tratamiento descriptivo de los mismos, importante y útil enla evaluación de programas.

14.3 El DATO CUALITATIVO (pp. 482-483)

Mucha de la información recogida en la evaluación de un programa es de carácter cualitativo, esto es: enesencia, textual, bien sea escrita, bien gráfica, bien audiovisual.

Ya se ha señalado previamente que el término “dato” contrariamente a lo que sugiere su etimología,representa una realidad que es preciso construir por parte del propio investigador, en nuestro caso delevaluador. Al respecto es muy ilustrativa la siguiente cita, debida a Ibánez… en vez de hablar de “data” habría que hablar de “capta”, pues los dispositivos de captura no sólo seleccionan sino que tambiénconforman –transformándolo para informar de ello- lo que captan…

Taylor y Bogdan concuerdan con tal planteamiento cuando afirman:

Sería engañoso sostener que los estudios descriptivos se escriben solos. En todos los estudios los investigadores presentan y ordenan losdatos de acuerdo con lo que ellos piensan que es importante (…) Además, al realizar sus estudios, los investigadores toman decisionessobre lo que deben observar, preguntar y registrar, decisiones que determinan lo que pueden describir y el modo en que lo describen.

Una característica fundamental de lo denominado “dato” en la investigación cualitativa es su enormediversidad y complejidad, hasta tal punto que algunos autores los definen en forma negativa. (Tal es el caso deTesch, cuando los define por exclusión al indicar que son aquellos “que no son cuantitativos, es decir: datos cualitativos son todos los que

no pueden ser expresados con números” Podríamos decir que se tomará como datos el conjunto de informaciones enque se concretan las interacciones entre los sujetos y entre estos y el evaluador, así como las relativas a lospropios contextos en que la información se produce y a las mismas circunstancias en que se origina.

La información puede registrarse en formas muy variadas, entre las que podemos reseñar expresamente lasnotas de campo y del observador/entrevistador, así como los gráficos, fotografías, documentos de diversaíndole (diarios, documentación legal o administrativa…) y, desde luego, los relatos de los propios protagonistas.

Podríamos concluir afirmando que esta modalidad de investigación/evaluación da lugar a una muy elevadacantidad de materiales que, fundamentalmente, tienen un carácter textual.

14.4 RECOGIDA Y ANÁLISIS DE DATOS (pp. 483-491)

Si bien en alguna medida las ideas que siguen también pueden aplicarse a los datos cuantitativos, convienereseñar que en el ámbito de los cualitativos se da una notable relación y hasta interacción entre la recogida dedatos y su propio análisis. Es más para algunos especialistas, es frecuente la simultaneidad entre diversos procesos propios de esta metodología, como son los de recogiday de elaboración de informes.

Una vez reflejado este hecho, centraremos nuestra atención en su análisis y tratamiento, un procesocomplejo, difícil y con un notable componenente de originalidad y creatividad por parte de quien deberealizarlo. En ese sentido, Woods atribuye al buen analista de datos, junto a la imaginación y la creatividad, un“olfato de detective”.

14.4.1 Concepto

En nuestro contexto, el análisis viene a ser un proceso destinado a captar, a extraer significado de lainformación recogida; y ello porque la información bruta –tal como es recogida por el evaluador- no siemprerepresenta una importante aportación a los efectos de la evaluación.

Una buena definición de análisis de datos es la debida al profesor Gil Flores.

…conjunto de manipulaciones, trasformaciones, operaciones, reflexiones y comprobaciones realizadas a partir de los datos con el fin deextraer significado relevante en relación con el problema de investigación.

La definición pone de relieve la notable problemática que representa esta etapa, en parte explicable por supropia naturaleza textos frente a números, más difíciles de reducir a realidades interpretables.

Tal vez por ello, todavía no se dispone de un cuerpo de saber suficientemente elaborado y aceptado por losespecialistas, lo que puede explicar ese componente creativo y original al que nos hemos referido, y que hallevado a Taylor y Bogdan a afirmar que “todos los investigadores desarrollan sus propios modos de analizar losdatos cualitativos”

14.4.2 Proceso

Pues bien, sin extendernos en un tema de una amplitud, si reseñaremos a continuación lo que puedeconsiderarse como el proceso general del análisis, concretado en tres grandes tipos de tareas y en un conjuntode actividades:

Tareas ActividadesReducción de Datos Separación de unidades

Identificación y clasificaciónAgrupamiento

Presentación de Datos TransformaciónPresentación

Obtención y verificación de conclusiones Extracción de conclusionesVerificación de las conclusiones (7)

(7) Nosotros preferimos utilizar la expresión validación a la de verificación.

14.4.2.1 La reducción de datos

La reducción de datos resulta prácticamente imprescindible cuando nos encontramos ante una elevadacantidad de material, como suele ser el caso de la información recogida mediante metodologías cualitativas.Dado que al ser humano le resulta muy difícil hacerse cargo y comprender este tipo de materiales, su análisis,su descomposición partes, facilita su comprensión, su inteligibilidad.

La reducción consiste en la separación o troceamiento de la información original en partes, una tarea básicaque puede afrontarse de formas diferentes, atendiendo a criterios de carácter temporal o espacial, a unidadesde tipo gramatical (como la palabra, el párrafo o la oración) o dialogal (turnos de palabra) o de tipo temático, sibien en tal caso las dificultades son, por lo general, mayores, dada la variabilidad que puede darse en cuanto asu extensión.

Una vez llevado a cabo el troceamiento o separación del texto en unidades, se procede a su identificación yclasificación mediante operaciones y procesos de codificación y categorización.

La codificación de la información, según Miles y Huberman, es “una abreviación o un símbolo aplicado a un grupo de palabras –muchasveces una frase o un párrafo de notas de campo transcritas- para clasificarlas”. Tylor y Bogdan, por su parte, consideran que la codificación“es un modo sistemático de desarrollar y refinar las interpretaciones de los datos”. Y añaden: “Lo que inicialmente fueron ideas eintuiciones vagas, se refinan, expanden, descartan o desarrollan por completo”.

El proceso de categorización es complejo y admite diversas opciones. Las más apartadas entre síconstituyendo los extremos del continuo, son: los sistemas precodificados, de naturaleza deductiva, en los queparte de unas categorías preestablecidas a las que se van asignando fragmentos de la información recogida, ylos sistemas plenamente inductivos, creando las categorías a partir del estudio detallado y del conocimiento dela información acumulada.

Glaser distingue entre una categorización sustantiva, especialmente adecuda en aquellas situaciones en queel investigador va descubriendo las categorías a partir de los datos, o teórica, apropiada para integrar laspropias anotaciones. Esta modalidad de categorización permite conceptualizar la forma en que se relacionanlas categorías sustantivas.

Se han ideado sistemas de categorización que se encuentran entre los totalmente inductivos y los deductivos.Propuestas de este tipo se deben, entre otros, a Lofland y Lofland 1984:132) que recurren a tres grandes tiposde carpetas, y Bogdan y Biklen (1982), que parten de una serie de familias de categorización.

La codificación es la tarea de asignar a cada unidad separada un código, que bien puede ser un número ounas palabras, en forma de abreviatura. El sentido de la codificación no es otro que el de ayudar a clasificar lainformación analizada.

Dado que las operaciones de categorización y codificación tratan de vincular las unidades de análisis con lascategorías, conviene dedicar un poco más de atención a la fase de categorización, esencial en este primermomento.

Comenzaremos haciendo notar que las categorías pueden decidirse por un procedimiento a priori, que puedetener como base alguna teoría sobre el fenómeno estudiado, investigaciones previas, la experiencia delevaluador o hasta sistemas generales de categorías. En ocasiones, cuando se utilizan instrumentos para larecogida de información, pueden acudirse a las que puedan subyacer a los mismos.

El proceso de categorización, que deberá ser objeto de validación para tratar de evitar los errores materialesy de fondo, tiene en su definición operativa una de las herramientas fundamentales: cuando más clara esté ladefinición de todas y cada una de las categorías, más fácil será reconocer las unidades que deben ser asignadasa cada una y más difícil la equivocación en el proceso categorizador.

Pero también cabe hablar de una categorización inductiva, o lo que es lo mismo: ir construyendo lascategorías para la clasificación de las diferentes unidades a partir de la lectura del material estudiado; si en elsistema a priori, una vez definida del material, se trata de identificar unidades que se corresponden con ladefinición, aquí debemos encontrar un concepto, un nombre, capaz de acoger la información que vamosleyendo.

Obviamente, con este modo de proceder es prácticamente seguro que se deberán reformular las categoríasinicialmente formuladas, precisándolas en el grado que sea necesario, según se avance en el proceso.

El proceso final de esta primera gran tarea consiste en la síntesis o agrupamiento de la información asignadaa cada una de las categorías inicialmente formuladas, precisándolas en el grado que sea necesario, según seavance en el proceso.

El proceso final de esta primera gran tarea consiste en la síntesis o agrupamiento de la información asignadaa cada una de las categorías. Sistema a priori, mediante diccionarios de análisis de contendido, o a posteriori,de carácter empírico, que clasifican las palabras por métodos como el análisis factorial o el de conglomerados,son los más utilizados.

14.4.2.2 La presentación de los datos

La siguiente tarea se centra en la presentación de los datos. Tras la reducción de la información para que seamanejable y comprensible, es preciso mostrarla, acudiendo a diversas modalidade de presentación.Habitualmente se recurre a diversos tipos de tablas y de representaciones gráficas. Entre ls primeras podemosreseñar la de contingencia (presentan la relación entre al menos dos variables nominales u ordinales), deincidencia (en que se aprecia la presencia o ausencia de fenómenos) y de valores numéricos que, como sunombre indica, reflejan los valores apreciados para las variables de que se trate, que corresponden a lossujetos estudiados.

En cuanto a las representaciones gráficas, podemos reseñar los tan conocidos diagrama (de caja, en árbol),las matrices y sistemas de redes.

Las tablas de contingencia permiten apreciar la relación existente entre dos o más variables de tiponominal, como, por ejemplo, la que pueda darse entre la intensidad de las actitudes generadas por unprograma –variable ordinal- y el sexo –variable nominal- de los destinatarios de mismo. Sexo e intensidad de laactitud son dos variables que se sitúan como ejes de ordenadas y abscisas, y los valores que se dan en lascorrespondientes intersecciones ponen de relieve la realidad que deseamos analizar.

Por su parte, las tablas de incidencia nos muestran la presencia o ausencia del fenómeno analizado. En el casoanterior, podríamos estar interesados en comprobar si determinado comportamiento, tomado como indicio oindicador de la actitud que trata de promover el programa, se da o no entre los sujetos que lo realizan y entrelos de un grupo de control, que no siguen el programa. En las celdillas de intersección se sitúa un símbolo, porlo general el número si se da tal comportamiento, y otros símbolo –el 0- cuando no se da.

Una situación más completa es la que se da cuando se pasa de variables nominales –se da/no se da uncomportamiento- a variables cuantitativas, generalmente discretas: se da un comportamiento, como indicio dela actitud que promueve el programa, con mayor o menor intensidad. La intensidad puede valorarse a partir desu frecuencia o de indicios que nos ponen de relieve la fuerza, la decisión, la determinación o cualquier otroindicio de intensidad, bien en escalas de observación, bien en autoinformes.

En tales casos podemos acudir a tablas de valores numéricos. Lo que antes eran símbolos o palabras, ahorason valores numéricos registrados en los instrumentos de recogida de información.

Junto a estas formas de presentación, de carácter numérico, podemos acudir, preferiblemente comocomplemento, a las representaciones gráficas, en esencias similares o muy próximas a las ya presentadas en elanterior capítulo para datos cuantitativos con variables nominales u ordinales: diagramas de caja, curvas denivel, pictogramas, polígonos de frecuencias.

Debemos hacer una mínima referencia a dos formas de representación gráfica especialmente adecudas anuestro caso: las matrices y el sistema de redes.

A Miles y Huberman (1984) se debe una interesante aunque compleja propuesta, para presentar en unamatriz la información correspondiente a la intersección de diferentes categorías –eje de ordenadas- y sujetos –abscisas- aunque también puede tratarse de casos, acontecimientos, situaciones, etc. La información se sitúaen la intersección correspondiente.

En el caso de un programa, aplicado a una muestra de jóvenes que no alcanzaron el Graduado escolar, puedetratarse de apreciar el grado de interés que suscita en sus diversas materias en situaciones regladas y noregladas, ubicando la información codificada previamente en las correspondientes intersecciones.

Por último, debemos referirnos a la obtención y validación de conclusiones. Como en todo trabajo deinvestigación la metodología se convierte en una herramienta auxiliar para que el investigador pueda llegar a“resolver” el problema que le preocupa.

Conclusiones

Si el proceso seguido hasta aquí tenía como meta la comprensión de una realidad compleja, como son losmateriales textuales (recordemos, no obstantes, que el término “textuales” no agota el concepto de lo cualitativo, alque hemos

llegado a definir por oposición a lo cuantitativo.), ahora es preciso proceder a extraer la información de esas partes enque hemos troceado y organizado el informe de la información de la información recogida, a fin de darle unadeterminada estructuración que resulte significativa para los objetivos de la evaluación.

A través del proceso de reducción y de presentación de datos el investigador puede ir estableciendorelaciones que le permiten avanzar en la comprensión de los hechos y en la forma en que se organizan yestructuran. Con ello, el investigador/evaluador puede ir avanzando desde la mera presentación de datos decarácter descriptivo a su uso explicativo, progresivamente más abstracto. La extracción de conclusiones implicaaportar información que resulte coherente, que respalde determinados enunciados, que pueda serargumentada. Para ello se acude a los procesos ya enunciados: al análisis de la información organizada o a lacomparación de los diversos elementos analizados.

En ese proceso de llegar a conclusiones a partir de los datos hay pocas normas seguras, siendo la creatividady la experiencia del investigador, junto a la amplitud de sus lecturas y el conocimiento de los trabajosrelevantes lo que le puede ayudar. Sin embargo, sí pueden plantarse algunas recomendaciones, siendo tal vezlas fundamentales las tres siguientes:- Lectura atenta, intensa y reiterada de la documentación.- Aceptación uncial de intuiciones e interpretaciones surgidas de tal lecturas.- Y prudencia antes de darlas por buenas: durante mucho tiempo, tales interpretaciones son, sólo, tentativas.

En cualquier caso, sí podemos afirmar que las conclusiones o enunciados que sintetizan lo alcanzado por elevaluador, deben mantener una relación lógica y, por tanto, argumentables, con la información de partidaadecuadamente analizada y presentada. Si bien es cierto que, como acabamos de señalar; hay pocas reglasseguras en este punto, no es menos ciento que tales enunciados no pueden aparecer como fruto de unaprestidigitación, si como resultado de un proceso de síntesis sólidamente argumentada y razonada.

En ese proceso cabe destacar una importante herramienta que puede venir en ayuda del evaluador; nosestamos refiriendo a la comparación de las diferentes elaboraciones realizadas por el evaluador: tablas ygráficas. Si a ellas se unen las que pueda realizar con otros trabajos similares, sea con sujetos semejantes seaen contextos con elementos diferenciales, el resultado de su elaboración estará más asentado.

Verificación/validación de conclusiones (No es este el lugar para hacer notar las diferencias que este concepto tiene en el marcode los estudios cualitativos en relación con los cuantitativos. Remitimos al lector a los manuales al uso, recogidos en la bibliografía, entreotros los Goezt y Lincoln).

La verificación o validación de las conclusiones extraídas consiste en someterlas a algún tipo de procedimientoque permita comprobar la veracidad o la validez de las mismas. Este proceso acude a determinadasactuaciones tales como la conocida triangulación, la discusión con colegas, el contraste con la posición de lossujetos investigados o la búsqueda de la evidencia en contra, sin olvidar algunas manifestaciones de rigor en elproceso que avalan las conclusiones del investigador.

-

.

Evaluación de Programas Educativos. 4º Curso de Educación Social

Tema 15 ( libro –autor Ramón Pérez Yuste-)El informe de la evaluación de programas e instituciones. (tema XXIII libro de referencia)

1.- El Informe (pp. 262-263)

La evaluación de los programas, al igual que la de las organizaciones o instituciones educativas, debeplasmarse en algún tipo de documento, más o menos extenso y formalizado según los objetivos, modalidad,circunstancias y destinatarios de la misma.

Se comprende fácilmente la distancia que debe mediar en este aspecto, entre una autoevaluación del propioprograma académico de su asignatura, lleva a cabo por parte de un profesor y la evaluación de un programa,por ejemplo de educación vial o para la promoción de hábitos saludables, realizada por un grupo e expertos,por encargo de las autoridades correspondientes en el ámbito del Estado o de una Comunidad Autonómica.

Si en el primer caso basta con que el responsable del programa y de su evaluación plasme en un brevedocumento las actuaciones y los resultados de la propia evaluación como constancia de la misma y, sobre todo,como punto de partida documental para futuros procesos educativos basados en las conclusiones a las que hallegado, en el segundo será preciso un documento altamente formalizado, organizado y sistematizado en el quese recojan los elementos fundamentales del diseño, planificación y ejecución de la evaluación y, sobre todo, delas conclusiones a las que se ha llegado, para información y fundamentación de las actuaciones quecorrespondan a las diferentes partes interesadas y afectadas , esto es, a los responsables tanto políticos comotécnicos del programa, a los aplicadores y destinatarios y hasta a otras entidades afectadas por, e interesadasen, el programa y sus consecuencias.

15.1 EL INFORME (PP. 262-263)

Entendemos por Informe el documento técnico elaborado por el evaluador, sea este una persona o un grupo,destinado a ofrecer información a los responsables del programa y a las demás partes afectadas e interesadas.

Dos hechos deben ser tomados en consideración a la hora de precisar su concepto, contenido y alcance: poruna parte, la naturaleza misma de la evaluación, algo que está ligado a las funciones que asume y a losobjetivos a los que sirve; por otra, los diferentes destinatarios.

En relación con el primero, dejamos constancia, una vez más, de nuestra preferencia por las evaluacionesformativas, aunque deba reconocerse como legítimo, correcto y útil el planteamiento sumativo en que losprofesionales son requeridos para realizar evaluaciones de este tipo. Por otra parte, la evaluación puederealizarse al servicio e objetivos muy diferentes, que van desde buscar el apoyo de determinadas entidades ogrupos a dar cuenta de lo alcanzado, pasando por disponer de datos sobre la rentabilidad de los recursos,sobre la calidad de los materiales, sobre el tiempo empleado…

En relación con el segundo, parece evidente que las evaluaciones pueden interesar a partes muy diversas,además, claro está, de a los destinatarios, a los responsables del programa y de su misma evaluación.

Hay personas que son implicadas por el programa, tales como sus destinatarios y personas cercanas(pensemos en los alumnos, en sus familiares y en sus profesores), hay otras que son requeridas para realizardeterminadas tareas o que su propia actividad queda afectada por la actividades del programa; hay quienesson implicados por los evaluadores al pedirles información y valoraciones…

Todas estas personas tienen derecho a recibir información, pero, probablemente, no toda la información o nocon el mismo nivel de detalle.

15.2 CUALIDADES DEL INFORME (PP. 263-267)

Centrado nuestra atención de modo preferente en los informes a realizar por profesionales, tanto a losefectos de capacitar para su elaboración como para valorar los informes realizados por otros profesionales ysacar las conclusiones pertinentes, reseñaremos a continuación las principales cualidades que deben adornarun informe evaluativo sobre un programa del ámbito educativo.

En esencia, las cualidades derivan de la finalidad última que hemos atribuido a las evaluaciones: la mejora delprograma y, subsidiariamente, del personal implicado y del contexto en el que el programa se lleva a cabo.

En tales condiciones, podríamos hablar de unas cualidades técnicas, relacionadas con su contenido,accesibilidad y objetividad, y de otras de naturaleza ética, centradas en la integridad de la informaciónaportada.

15.2.1 Cualidades técnicas

El informe es un documento técnico, elaborado por los responsables de la evaluación, para dar a conocer sutrabajo y conclusiones a los responsables del programa y a las partes afectadas e interesadas.

Desde esta perspectiva, el informe debe cumplir adecuadamente tres grandes requisitos, debe estaradornado de tres grandes cualidades: ha de ser completo, debe ser accesible y debe estar dotado de la máximaobjetividad.

15.2.1.1 Informe completo

Probablemente, la cualidad técnica por excelencia que debe adornar un informe sea la de ser completo,incorporando cuanta información sea necesaria y relevante para las partes interesadas y afectadas a fin de quepuedan sacar las conclusiones pertinente en función de su puesto y responsabilidades.

Más adelantes, al hablar del contenido del informe, dejaremos constancia de los aspectos fundamentales quedebe incluir para ser completo. Dejemos constancia, por el momento, de que esta cualidad se conculca,obviamente, cuando el informe presenta sesgos, carencias o ambigüedades, algo que, en caso de serintencionado, tiene evidentes connotaciones éticas.

15.2.1.2 Informe accesible

Junto a su carácter de completo, el informe debe ser accesible. Puede parecer una obviedad indicar que lafunción de un informe no es otra que la de informar y que, en consecuencia, todas las partes interesadas yafectadas por la evaluación deberían tener acceso al informe. La cuestión tiene su importancia porque, conalguna frecuencia, surge la tentación por parte de quienes encargan la evaluación de apropiarse de la misma,en la medida en que, como de todos es conocido, información es poder.

La accesibilidad puede verse limitada, paradójicamente, como consecuencia del exceso de información. EnEfecto. Puede ocurrir que, so pretexto de presentar un documento completo, se incluya tal cantidad deinformación que, lejos de facilitar la comprensión, la obstaculice.

Los expertos, los evaluadores, han debido manejar una amplia gama de documentos y datos, recogidos enmomentos diferentes, por técnicas diversas procedentes de fuentes distintas. Su tare, técnica, es ordenar esainformación, extraer lo sustantivo y hacerla inteligible; pues bien: ofrecer la masa de información sin esascualidades atenta contra la accesibilidad que estamos describiendo, y ello tanto si se hace por falta decapacidad técnica para su adecuada presentación como si lo que se pretende, justamente, es obstaculizar sucomprensión, atentando así contra los principios éticos.

La capacidad para una correcta elaboración del Informe no está reñida, en modo alguno, con la necesidad defacilitar la información original, en toda su amplitud y complejidad, a quienes deseen extraer sus propiasconclusiones e, incluso, valorar la corrección del informe elaborado por los evaluadores. Pero esta posibilidadpuede garantizarse sin que ello devenga en un informe cuyo tamaño, formato y lenguaje desanimen a laspartes interesadas en su deseo de entender la evaluación realizada (Para ello basta con que el informe completo, con todala documentación en que se basa, esté depositado en un lugar público, garantizándose la consulta a todos los interesado. En la actualidad,los recursos informáticos facilitan el acceso a la información a las personas interesadas.)

La accesibilidad no es sólo una cuestión material. En efecto: no se trata sólo de que el Informe pueda ser leídoo consultado por tales personas y entidades, sino de que el documento cuente con determinadascaracterísticas que, globalmente, podríamos calificar como legibilidad.

La legibilidad se refiere a la cualidad del lenguaje que lo hace comprensible, algo que tiene que verdirectamente con su claridad, precisión y concisión, por una parte, y con su adecuación a las diferentes partesafectadas/interesadas por otra.

Se debe evitar que quienes deben comprender el proceso, desarrollo y resultado de la evaluación, no lopuedan lograr como consecuencia de los tecnicismos empleados. Por la misma razón, se debe exigir unlenguaje claro y preciso, facilitador de la lectura y de su comprensión. Para ello es necesario evitar los párrafosfarragosos y ampulosos, que obscurecen el contenido en lugar de facilitar su comprensión.

Junto a ello, el informe debe presentar una secuencia clara y ordenada, que permita avanzar en lacomprensión de todos los aspectos integrantes. Un buen índice, debidamente organizado y secuenciado, esuna garantía para un adecuado desarrollo.

Vale la pena hacer notar la necesidad de que el informe, además de estar a disposición de las partesinteresadas, se difunda debidamente entre los directamente implicados y afectados, procurando que taldifusión pueda tomar formatos diferentes en función de las responsabilidades de tales partes. Es más, aspectoscomo el tamaño, la cantidad de información y hasta el propio lenguaje, deberían acomodarse a las mismas.

Piénsese en las necesidades de información de los alumnos de un programa, de sus padres, de los miembrosdel Consejo escolar de centro, del profesorado en general y del Equipo directivo. O de los responsables de unprograma de salud de sus aplicadores y de las personas a las que se aplica.

15.2.1.3 Informe objetivo

Conviene dejar constancia de una cualidad que debe ser atendida y respetada escrupulosamente aunque ellono sea nada fácil de alcanzar: nos estamos refiriendo a su objetividad.

La dificultad se hace evidente cuando se parte del reconocimiento de que la evaluación de cualquier objeto ypara cualquier finalidad, implica valoraciones, juicios de valor, y que unas y otras no pueden desligarse de laspersonas que valoran, que lo hacen desde su propia óptica, planteamientos teóricos y técnicos y hastaconcepciones genéricas sobre la realidad.

Por lo que se puede esperar en este punto es algo así como la objetividad en la subjetividad, esto es, lavaloración objetiva de la información a partir de los propios criterios y referencias hechos públicos por losevaluadores con anterioridad a la propia evaluación.

De indudable trascendencia ética, este hecho, por la honestidad que implica, permite a los destinatarios delinforme apreciar la coherencia de los juicios de valor, su adecuación y rigor, al margen de que el lector puedaestar en desacuerdo con ellos por no compartir ni asumir los criterios del evaluador.

No nos referimos a una subjetividad arbitraria sino técnica: el evaluador debe estar en condiciones dedefender, con argumentos sólidos, rigurosos y bien construidos, su posición evaluadora. De esta forma, seevitan las valoraciones sin fundamento y cualquier forma de manipulación de las partes interesadas comoconsecuencia de la ocultación o desfiguración de los planteamientos de los evaluadores.

15.2.2 Cualidades éticas

Las cualidades éticas del Informe podrían resumirse en dos: Asegurar la integridad de la información y Respetar el derecho a la misma

Si bien un profesional puede cometer errores al redactar el informe, no incluyendo aspectos que, a su juicio,no son necesarios, lo que nunca podría hacer es ocultar, sesgar o desfigurar la información como fruto de unintento deliberado de forzar un determinado tipo de conclusiones en detrimento de las verdaderas.

Una situación tan reprobable como la anterior sería aquellas en que se llega a tal situación comoconsecuencia de aceptar las posiciones de los responsables del programa, interesados en que no vean la luzaquellos aspectos que van contra sus propios intereses.

El evaluador debe estar precavido en relación esta posibilidad. La experiencia dice que pueden surgirconflictos entre el evaluador y sus clientes, que pueden pretender reservarse la información o, al menos,ciertas partes de la misma. Para evitar estos problemas se recomienda establecer acuerdos previos, tal como seindica en el estándar P2 Acuerdos formales, recogido en el apartado de honradez o probidad en elcorrespondiente capítulo de la primera parte.

Estos acuerdos formales han de especificar las obligaciones de ambas partes: Quien contrata la evaluación y Quien la realiza,A fin de iniciar la actividad evaluadora sólo cuando tales condiciones respetan las exigencias técnicas y lasobligaciones éticas por ambas partes.

Manifestadas las posiciones de cada parte, la evaluación se hará o no, pero si se hace debe llevarse a caborespetando o los patrones o estándares técnicos y éticos, y ni unos ni otros permiten este tipo de actuaciones.

Por la misma razón, no sería ético negar la información apersonas o entidades afectadas e interesadas comouna alternativa a no dar a conocer la información respetando su integridad.

15.3 CONTENIDO DEL INFORME (PP. 268-269)

El informe es un documento técnico destinado a ofrecer a las partes afectadas e interesadas lainformación relevante y útil. Ahora bien, de qué partes interesadas se trate y cuál deba ser elcontenido del informe, es algo que dependerá, como hemos señalado, de la función y objetivos de laevaluación.

A veces, la información se limitará a los resultados (evaluaciones sumativas), mientras en otros deberáalcanzar a todo el proceso, incluyendo las actuaciones ligadas a la evaluación de las necesidades que dieronorigen al programa.

Sabiendo de esta diversidad de situaciones, trataremos de ofrecer una visión del informe coherente connuestros planteamientos reiteradamente defendidos en relación con la evaluación de programas desdefunciones eminentemente formativas.

Un buen informe, cuando el tipo de evaluación lo permita, ha de incluir información sobre los siguientesaspectos.

Necesidades, demandas, carencias o expectativas a las que pretende dar respuesta el programa Contexto y circunstancias en las que surge, se diseña y se desarrolla el programa. Componentes fundamentales del programa evaluado: objetivos y contenidos, medios y recursos y sistema de

evaluación, aspecto este al que nos referiremos a continuación. Información sobre la implantación y el proceso de implementación del programa. Información sobre los resultados del programa. Discusión y conclusiones. Resultado de la evaluación: puntos fuertes y débiles, esto es, aspectos positivos y ámbitos de mejora. Decisiones que se proponen o sugieren. Modalidades de difusión de la información y alcance de la misma. Personas y entidades a las que se ofrece la información

En lo relativo al sistema de evaluación, conviene explicitar los aspectos fundamentales que lo deben integrar:

Objetivos de la evaluación. Funciones: formativa, sumativa o mixta. Técnicas e instrumentos utilizados. Cualidades técnicas de tales instrumentos. Momentos es que se recoge la información. Personas responsables de la recogida Fuentes utilizadas para la recogida de información. Informantes. Procedimientos utilizados para el tratamiento y análisis de la información recogida. Procedimientos utilizados para la valoración de la información

15.4 ESTRUCTURA DEL INFORME (PP. 269)

Como documento técnico, el contenido reseñado en el punto anterior se convierte en el núcleo del Informe.Sin embargo, tal contenido debe ir acompañado de otras partes, menores en cuanto a su importancia, peroimportantes para que la información sea inteligible.

La estructura del Informe puede ser la siguiente:

Portada del informe. En ella debe aparecer, además del título del programa, el nombre del evaluador o del equipo.Junto a ello, la echa y el lugar.

Ficha técnica. Sus elementos sustantivos son, además de la denominación del programa y del organismo o entidad queencarga o contrata la evaluación, los destinatarios de la evaluación, las partes afectadas y las fechas entre las que selleva a cabo la evaluación.Como elemento de autenticación del informe, conviene fecharlo y firmarlo

Resumen. Como su nombre indica, se trata de una síntesis que permite al lector decidir si, en función de sus intereses yresponsabilidades, le merece la pena entrar en el informe con mayor detalle. Como afirma el Diccionario, sintetizar esresumir, extraer lo fundamental de algo, prescindiendo de lo accesorio. Por tanto, este resumen debe incorporaraspectos como los objetivos de la evaluación, la naturaleza y características del programa, la opción metodológicautilizada en la evaluación y los principales resultados y consecuencias derivadas.

La evaluación. En este punto debería incorporarse lo dicho previamente sobre el contenido. Es el cuerpo del Informe. Anexos. El Informe puede ir acompañado, con el carácter de anexos, de la información original recogida, debidamente

organizada y estructurada, así como de cuanta documentación sea precisa para que quienes deseen profundizar en elprograma o en su evaluación, puedan hacerlo de modo personal, sin la mediatización que representa el informerealizado por los evaluadores.

ADEMÁS SE FACILITARÁ UN TEXTO ELABORADO POR EL EQUIPO DOCENTE EN LA PLATAFORMA VIRTUAL