1

LA EVALUACIÓN INTERNA

DE CENTROS

OVIEDO. Dic., 2008

Sesión 3 (2 horas): Diseño evaluativo. Determinación de indicadores. Texto: “La evaluación comunicativa…”. Jesús Rul Act. 1: Diseño evaluativo. Rul y Zaitegi Act. 2: Indicadores de calidad. A. Campo Act. 3: Fichas adicionales diseño. Rul y Zaitegi Act. 4: Diseño de un proceso evaluativo. A. Campo Transparencia: El valor de la información. A. Campo

2

LA EVALUACIÓN COMUNICATIVA, FACTOR DE

DESARROLLO HUMANO, ORGANIZATIVO Y

CURRICULAR Valorar, medir y evaluar.

Rul Gargallo, Jesús Aula de Innovación educativa, nº 39 (1995)

El discurso educativo actual sobre evaluación está saturado de lugares comunes y de

imprecisión conceptual, mientras la práctica evaluativa está anclada, en unos casos en el paradigma positivista (medida cuantitativa de resultados), y en otros casos, en prácticas valorativas que juzgan los «procesos» con toda la parcialidad que este estudio comporta al escindir a éstos del contexto, así como de los resultados. La apertura a una cultura evaluativa entendida como recurso interno de comunicación y desarrollo entre personas es lenta y exige convencimiento y dedicación. No obstante, la evaluación organizativa y curricular es un recurso -a la vez clarificador y optimista- tanto para la vida organizativa como para la personal y profesional.

En una primera aproximación, evaluar es crear valor en relación a determinados objetos, hechos o fenómenos a partir de datos e informaciones objetivadas en relación a finalidades prácticas. Evaluar es una capacidad humana, en el ámbito del conocimiento axiológico, siempre que el valor atribuido esté fundamentado en datos rigurosos (medición) y/o en informaciones objetivadas y plurales. En este sentido, se diferencia de valorar que es el juicio de valor que una persona -subjetivamente- atribuye a una cosa. La valoración y la evaluación son los dos extremos de la acción axiológica de las personas y de los grupos. A menudo se confunden y se utilizan indistintamente; es usual denominar evaluación a la recogida y sistematización de opiniones y valoraciones personales. No obstante, la estandarización de valoraciones subjetivas no deja de ser una valoración. Por ejemplo, los modelos (e)valuativos de cuestionario.

El salto cualitativo a la evaluación requiere que las valoraciones subjetivas sean transformadas por la incidencia de los datos y de las informaciones procedentes de diversos enfoques y dimensiones. En este sentido, la evaluación es un aprendizaje personal y social (comunicación) que influye en la conformación de los valores individuales y colectivos (cultura). Hay evaluación si a través de la experiencia y de la comunicación humana se produce aprendizaje valorativo, con repercusiones individuales y colectivas, basado en datos e información objetivada. No obstante, acercarse a las prácticas evaluativas en el mundo de la educación es descubrir una realidad escindida; por una parte encontramos mediciones (denominadas evaluaciones) subsidiarias de una concepción evaluativa centrada en los «resultados» con las limitaciones del enfoque e interpretación positivistas, y por otra parte, prácticas valorativas centradas en los procesos que no van más allá de expresar visiones puramente subjetivas de lo que acontece.

Últimamente hay intentos para integrar estas dos concepciones en «prácticas evaluativas articuladas» a partir de modelos teóricos de currículum, de organización o de gestión. No obstante, la ausencia de un modelo explicativo satisfactorio de evaluación limita todo intento integrador a soluciones parciales o a propuestas de tipo ecléctico. La necesidad de evaluar el hecho educativo es un tema de actualidad en el debate socioeconómico contemporáneo, pero los contenidos que se asocian con la evaluación, así como sus formas, usos y agentes suelen ser equívocos o simplemente erróneos para las finalidades que se enuncian. Durante mucho tiempo, la imagen de la evaluación ha estado asociada con las tecnologías evaluativas; es decir, el elemento esencial de toda realización evaluativa era disponer de instrumentos de evaluación: aplicación de pruebas estandarizadas y de cuestionarios que una vez cumplimentados eran tratados por expertos que sacaban conclusiones a partir de estadísticas y gráficas. Esta imagen tecnológica de la evaluación -considerada desde la perspectiva actual-

3

ha distorsionado su comprensión más profunda y compleja. La percepción de las realidades evaluativas a partir del reduccionismo tecnológico aporta una visión preconcebida y determinista de la evaluación. Pérez (1983: 422) manifiesta el triple reduccionismo que ha caracterizado a las prácticas evaluativas: l) énfasis en los resultados con olvido de los procesos; 2) primacía de los resultados observables, previamente establecidos, desconsiderando los efectos secundarios e imprevistos en el proceso, que más que observar es necesario inferir; 3) restricción de la responsabilidad e interés por la evaluación en los profesores y autoridades académicas con olvido de los alumnos y de la sociedad.

La otra cara de la evaluación -énfasis en los procesos- presenta realizaciones desiguales. Su

marco teórico y sus realizaciones tecnológicas son fragmentarias. No obstante, sus aportaciones en los estudios evaluativos tienen gran importancia en el campo educativo. Su desarrollo en los escenarios de enseñanza y aprendizaje debe realizarse dotando a los profesores de formación específica para que las prácticas evaluativas tengan rigor en la ejecución a través del ejercicio de conocimientos, destrezas técnicas y actitudes evaluativas. Un profesor puede valorar su trabajo y el de los alumnos, pero participar en un proceso evaluativo requiere formación específica, tratamiento adecuado de la información evaluativa, construcción fundamentada de juicios de valor, etc.

Ciertamente, la aplicación de las capacidades valorativas (opiniones) y, singularmente, las evaluativas (aprendizaje axiológico) a las realidades educativas es un recurso de crecimiento organizativo de los centros educativos y de optimización de los procesos de enseñanza y aprendizaje. En este aspecto, es un factor de autoconocimiento del potencial de aprendizaje y de las relaciones comunicativas implícitas en todo proceso educacional que permite optimizar las estrategias educativas con significación para el alumno y para el profesor.

Por otra parte, el conocimiento axiológico relativo a los hechos educativos es un potente instrumento de ponderación de las posibilidades y limitaciones estructurales y funcionales del sistema educativo en su conjunto.

APROXIMACION AL CONCEPTO DE EVALUACION

A lo largo de este siglo ha habido una reflexión profunda sobre la medida y la evaluación en educación, que ha incidido en la significación de los conceptos y en las prácticas evaluativas. Los cambios producidos en la significación de la evaluación, en este tiempo, están relacionados con los cambios producidos en las necesidades sociales y en los planteamientos teóricos y técnicos. Ciertamente, la evolución ha sido conflictiva a causa de la confrontación entre dos modelos de comprensión de las relaciones entre los humanos, y de éstos con el entorno: la positivista y la humanista. La primera pone el acento en los hechos cuantificables, la comprobación, la medida (paradigma cuantitativo); la segunda, en las interrelaciones, la comunicación, la interpretación situacional de los hechos y los acontecimientos, los valores que asignamos a las cosas en relación con las necesidades (paradigma cualitativo).

Últimamente comprendemos las limitaciones de las dos visiones que, lejos de ser antagónicas, presentan ciertas complementariedades. En esta línea se encuadra el trabajo de Cook y Reichardt (1986), quienes, desde un punto de vista metodológico, juzgan falaz el enfrentamiento entre la metodología cuantitativa y la cualitativa. Afirman que aunque sea imposible la utilización simultánea de los dos métodos, ya que operan con referentes y medios distintos, no por ello hay que identificar método con paradigma diferente y frontalmente opuesto. En la historia de la evaluación, esta confrontación entre lo cuantitativo y lo cualitativo se ha expresado en términos de confrontación paradigmática cuando no es más que la consecuencia de unos presupuestos metateóricos.

4

En este sentido, Alvira (1982. 53) señala que, de hecho, hay dos niveles de discusión: el nivel paradigmático (modelo o perspectiva global) y el metodológico (técnico). Niveles que, si se consideran separadamente, se evidencia la falta de oposición metodológica y su carácter complementario en la comprensión de los fenómenos estudiados.

Mateo (1995:6) señala que « ... La elección del método debe surgir del cruce de dos cuestiones. Por un lado, a partir de consideraciones teóricas pertinentes de los atributos paradigmáticos y, por otro lado, de las características de la realidad específica en que se produce la acción investigadora; también es razonable considerar, incluso, la acción conjunta de los dos métodos si es necesario».

Reichardt y Cook (1 979), señalan tres razones para sugerir el uso complementario de los métodos cualitativos y cuantitativos; l) los numerosos propósitos que normalmente tiene la investigación evaluativa. Esta variedad de necesidades requiere lógicamente una variedad de métodos; 2) la utilización conjunta de dos métodos-tipo permite que se fecunden recíprocamente y que ofrezcan intuiciones que ninguno de ellos podría aportar independientemente; 3) el hecho evidente de que todos los métodos tienen un sesgo que se puede obviar con el uso conjunto de distintos métodos. Sólo si se utilizan técnicas múltiples es posible «triangular» (integrar tres fuentes de información o tres perspectivas) la verdad subyacente.

Lo positivo de todo este proceso vivido - con significación cognoscitiva y práctica- es que se ha ampliado la comprensión del fenómeno evaluativo. La evolución histórica de los estudios sobre evaluación presenta relaciones significativas con los cambios sociales (necesidades) y con los nuevos planteamientos teóricos y técnicos. «La valoración de los fenómenos educativos varía en el tiempo y en las diferentes sociedades. El valor que se asigna a la educación a través del tiempo ha incidido en diversos aspectos del hecho y del proceso educacional» (Rul, 1990: 116).

Los grandes rasgos descriptivos que permiten acotar y perfilar la evaluación a lo largo del siglo XX son, sintéticamente, los siguientes:

l. La distinción entre evaluación y medida (Thomdike, 1971). «En 1904 se establece la distinción entre medida (assesment) y evaluación (evaluation)». No obstante, la reducción de la evaluación a actividades de medida ha sido moneda corriente en la educación por la influencia del concepto de valor (cuantitativo) que ha dominado en la empresa industrial por la incidencia del «taylorismo».

2. La naturaleza axiológica de la actividad evaluativa que permite «entender y atribuir valor a las realidades evaluadas» (Popham, 1975). La evaluación nos sitúa en él campo epistemológico de los valores y su significación en la acción humana.

3. La distinción entre evaluación y valoración (Rul, 1994). La valoración es un juicio subjetivo, mientras que la evaluación es un juicio fundado en datos e información objetivada».

4. El sentido teológico de la evaluación; es decir, orientada por fines y objetivos (Tyler, 1942). «La evaluación compara los objetivos propuestos con los resultados obtenidos (observación).»

5. El carácter práctico y utilitario de la evaluación (Cronbach, 1963). «La evaluación debe ser útil para la toma de decisiones, para mejorar el proceso y el programa.» Valor heurístico y orientador.

6. El sentido criterial de la evaluación (Claser, 1963; Tyler, 1967; Popham, 1971). «La actividad evaluativa guiada por criterios internos (referencia interna -evaluación procesual) y/o por criterios externos (referencia externa-criterios normativos-).»

7. La diferenciación entre evaluación sumativa y fomativa; intrínseca y extrínseca; expresa

e imprevista (goal free) (Scriven, 1967). «Distinciones duales en un momento de luchas entre paradigmas, cuantitativo y cualitativo con repercusiones metodológicas y aplicativas.»

8. La evaluación como negociación (Stake, 1975). «Evaluación respondiente.» Además de comparar los resultados deseados con los observados (evaluación tyleriana), amplía el concepto

5

de evaluación incidiendo en los antecedentes, el proceso, las normas, los juicios y los resultados. Los objetivos iniciales pueden cambiar, por lo que es necesaria la comunicación entre evaluador y audiencia para descubrir, investigar y solucionar problemas.

9. La evaluación como contraposición (Owens, 1973). Modelo judicial (competencia entre dos estrategias -visiones, razonamientos, intereses-).

10.El carácter comprensivo y holístico de toda «actividad evaluativa orientada al perfeccionamiento». «El objeto evaluado debe ser captado y comprendido contextualizado, en su marco de interacciones.» (Sttuflebeam, 1971), modelo CIPP -contexto, entradas, proceso, producto-.

11.La naturaleza de aprendizaje axiológico propio de las actividades evaluativas que contrasta con la expresión -subjetiva- de valores inherentes a la valoración (Rul, 1995). «Quien participa en procesos evaluativos puede aprender a valorar.» La evaluación tiene, por lo tanto, un efecto autoformativo para las personas y grupos que participan en la acción evaluativa.

12.El carácter político, en el sentido aristotélico de «polités (=ciudadano), de las actividades evaluativas, implícito en toda pronunciación axiológica (McDonald, 1976). «Sentido democrático de la evaluación.»

13.El carácter iluminativo de la actividad evaluativa que «descubre y dimensiona aspectos que, usualmente, quedan ocultos a la observación y cotidiana.» (Parlett y Hamilton, 1976), (Santos, 1990), «la evaluación contribuye a hacer visible lo cotidiano».

14.El valor de la información objetivada en la formación de los juicios de valor. Apertura, desde una perspectiva evaluativa, a la complementariedad de informaciones cuantitativas y cualitativas (Cook y Reichardt, 1986; Alvira, 1982; Mateo, 1 995).

15.El carácter constructivista de la acción evaluativa. «Quien participa en una evaluación incide en la construcción de valores más adaptados y significativos en relación con los objetos evaluados» (Rul, 1995).

PERSPECTlVA SUBJETIVA DE LA EVALUACIÓN

Valorar es una capacidad humana: la facultad que tenemos las personas para juzgar o atribuir valor a las cosas o a los fenómenos en relación con intereses prácticos. Las decisiones que vamos tomando a lo largo del ciclo vital se fundamentan en valoraciones -expresas o latentes, espontáneas o inducidas, etc.- estrechamente ligadas a factores personales (capacidades, actitudes, experiencias vividas, etc.), socioeconómicos y culturales. En este sentido podemos decir que valorar es la capacidad humana de emitir juicios de valor sobre las cosas y las situaciones en relación a finalidades prácticas. La valoración se constituye en evaluación individual cuando los valores emitidos se fundamentan en informaciones objetivadas que el individuo ha aprendido: por ejemplo, un médico evalúa la salud de un paciente a partir de los datos e informaciones diagnósticas decantadas por la experiencia profesional. Así pues, podemos afirmar que el fenómeno valorativo tiene dos dimensiones, una subjetiva y otra más objetiva.

El primer movimiento en la relación entre una persona y un objeto es sentir -percibir- y expresar de manera inmediata e intuitiva un juicio de valor -apriorístico-. En este juicio pesa mucho la personalidad del sujeto y su estado en relación con la situación concreta. Esta primera postura valorativa del sujeto respecto al objeto conforma la dimensión subjetiva de la evaluación. Es un acto, una expresión instintiva del sujeto que expresa la capacidad de respuesta inmediata. Es un salto intuitivo, como una especie de trampolín cognoscitivo que permite discriminar entre un conjunto de objetos atribuyendo significados, valores y relaciones entre ellos. Las condiciones de personalidad y cultura de los individuos, así como su adaptación a las circunstancias que lo envuelven suplen la falta de información objetiva sobre el objeto asignando valores inmediatos como respuesta y recurso a la «debilidad» humana frente a un objeto problemático y esquivo.

6

El ejercicio de la capacidad reflexiva de la persona le permitirá después del primer contacto con el objeto, descubrir, en su experiencia y en el conocimiento disponible, nuevos elementos, relaciones y aspectos sobre el objeto, la situación y él mismo que complementará, matizará o transformará el primer juicio valorativo. Esta actividad racional del sujeto da contenido a la dimensión objetiva de la evaluación. Es un proceso cognitivo en el que se expresa la alteridad sujeto-objeto en términos de aprehensión y ubicación relativa del objeto en un sistema interpretativo-valorativo (Cuadro l).

Cuadro 1

La finalidad a priori expresa un juicio de valor intuitivo, global, aproximativo con una gran carga de subjetividad (emotividad). La finalidad a posteriori expresa objetivos explícitos del sujeto (racionales) que se quieren lograr a través del proceso evaluador: aprehensión multifactorial y compresión pluridimensional del objeto situado en un contexto real y cultural determinado.

PERSPECTIVA OBJETIVA DE LA EVALUACIÓN

La capacidad humana de atribuir valor a los objetos puede desarrollarse de manera natural y espontánea o puede dar lugar a una actividad sistemática. La complejidad de ciertos objetos y la naturaleza de determinados fenómenos requerirá un tratamiento más sistematizado, para que los juicios de valor que se hagan sean más precisos y útiles en relación con los fines prácticos que justifican la propia actividad evaluativa.

Así pues, el concepto específico de evaluación se puede definir como «la actividad sistemática que desarrolla una persona o más con el fin de atribuir juicios de valor a determinados objetos a partir de información objetivada, en relación con unas finalidades en un marco contextual determinado».

En consecuencia, los factores que distinguimos en esta conceptualización son (Cuadro 2):

Cuadro 2

VALOR

SUJETO FINALIDAD

Valoración (dimensión subjetiva)

Finalidad a priori (implícita)

OBJETO

Evaluación (dimensión objetiva)

Finalidad a posteriori (explícita)

VALOR

ACTIVIDAD FINALIDAD

Situación contextualizada

Valores subjetivo-culturales

OBJETO

Evaluación sistemática

Valores objetivo-racionales

7

1. La actividad (tareas evaluativas que desarrolla una persona o grupo). 2. El objeto de evaluación y los objetivos de la evaluación. 3. La metodología de evaluación para la obtención de información y la elaboración y/o

adopción de instrumentos de evaluación. El tratamiento de la información cuantitativa y cualitativa.

4. Los juicios de valor emitidos: a) juicios isomórficos o ajustados a la información disponible, b) juicios dismórficos o singulares (interpretación creativa no estrictamente ajustada a los datos, pero a partir de ellos).

S. El contexto con las variables más significativas que conforman la situación (estructurales, relacionales, culturales y de poder).

La actividad evaluativa entendida como realidad sistemática, que integra en un solo

proceso la acción coordinada de un grupo humano utilizando fuentes alternativas de información y de perspectiva, conforma una realidad eminentemente comunicativa. En este sentido, «evaluar es la atribución de valores intersubjetivos a un objeto como resultado de operaciones subjetivo-objetivas de tratamiento de datos y de información rigurosa en un contexto específico en relación con finalidades de conocimiento, toma de decisiones, optimización y desarrollo humano, individual y colectivo».

La comprensión de la evaluación como actividad sistemática comporta centrar la atención en su dimensión objetiva. Los rasgos más significativos del desarrollo del proceso evaluativo en sus distintas fases, en coherencia con el modelo interpretativo de evaluación que hemos expuesto, se expresa en el Cuadro 3.

Cuadro 3

LA EVALUACION ORGANIZATIVA

Cuando el objeto de evaluación es una organización o solamente una parte de ella, nos referimos al concepto de evaluación organizativa. Esta cuestión ha suscitado el interés de estudiosos, hecho que ha dado lugar a trabajos y experiencias en el próximo pasado. A partir de la década de 1960 estos trabajos presentan una tendencia que podríamos denominar «evaluación de cuestionario». En efecto, proliferan las publicaciones monográficas que presentan un cuestionario de evaluación de centros docentes o un conjunto de cuestionarios específicos en relación con determinados temas organizativos (el director, el clima institucional, la toma de decisiones, etc.). Esta tendencia (e)valuativa que recoge y sistematiza las «opiniones» de profesores o de otros agentes personales de la escuela es subsidiaria de una orientación funcionalista y de relaciones humanas en la comprensión de la realidad organizada que surgió en oposición a la orientación tecnológico-racional, centrada en el análisis de los factores

ACTIVIDAD (opciones)

Metodología

OBJETO

OBJETIVOS

Recogida de información Tratamiento información

JUICIOS

DE VALOR

INFORMES

-Captar información -Procesar información (técnicas apropiadas)

-Expresión de los juicios de valor fundamentados -Propuestas útiles y rigurosas

Aparato tecnológico ante el objeto: Diseño evaluativo

Finalidades, intencionalidades

-Expresión de las valoraciones -Creación de valores (evaluación)

Cosa, hecho, fenómeno

8

estructurales de la organización (órganos, funciones, recursos, ratios, etc.) que dominó el escenario organizativo en toda la primera mitad del siglo XX y parte de la segunda.

Las investigaciones sobre la organización desarrolladas en el campo de la sociología, especialmente el estructuralismo, así como las aportaciones de la antropología cultural, ha venido a subrayar la importancia de los factores simbólicos en la interpretación de la escuela como grupo organizado. Son los factores culturales los que cohesionan y dan significación a la heterogeneidad de elementos y de percepciones que capta la observación empírica.

Así pues, la evaluación sobre la escuela como organización presenta tres dimensiones que han de ser consideradas: l) la estructural, 2) la funcional-relacional y, 3) la cultural. En consecuencia, el modelo de «cuestionario» resulta muy rudimentario; los análisis estadísticos de tipo estructural, muy simplistas; los estudios empíricos de tipo relacional, un caleidoscopio sin soluciones explicativas satisfactorias, etc. Es necesario un cambio de tendencia. En efecto, hasta ahora la evaluación era cosa de expertos, de cuestionarios externos, de guarismos complejos. El papel de los miembros de la organización era pasiva, receptiva (contestar a cuestionarios). La nueva orientación pone en el centro de la evaluación organizativa a los mismos actores de la organización. La escuela gestiona su propia evaluación; es decir, la evaluación se convierte en un recurso de autoconstrucción de la escuela a partir de su propia acción.

Es necesario pasar del modelo «recibir-el-pescado» (cuestionario) a «aprender-a-pescar» (ser capaces de evaluar aspectos concretos de la organización que incrementen su conocimiento y las estrategias de mejora).

En síntesis, la evaluación interna del centro educativo es fundamental en relación con la utilidad de la evaluación. Eso no excluye la evaluación externa o la interna-externa, pero siempre fundamentada o complementada con la interna. La evaluación interna es un factor de transformación y, la evaluación externa, un factor de contraste y de homologación. El centro educativo para evaluar determinados aspectos de su organización puede contar con recursos externos como por ejemplo asesores, evaluadores externos, modelos, instrumentos, etc., pero siempre enmarcados en las estrategias internas de evaluación.

Las estrategias más actuales de evaluación organizativa vinculadas a la reflexión sobre la eficacia institucional son, por un lado, los círculos de calidad procedentes del mundo industrial (aplicados con éxito por la industria automovilística japonesa en la década de los años ochenta) y, por otro, la propuesta de investigación en la acción procedente de las ciencias sociales.

9

Cuadro 4

ANTES

OBJETO DE EVALUACIÓN

- Acotar el objeto. -Evaluabilidad del objeto

PLANIFICACIÓN EVALUATIVA

Evaluador/es

Objetivos de

evaluación

Criterios de

valor

Instrumentos

Normas de aplicación

Informes / Receptores

Diseño evaluativo

-Coherencia: objetivos, criterios, instrumentos. -Coherencia: normas, instrumentos, evaluadores -Coherencia: informes /receptores con objetivos y normas.

DURANTE

DESARROLLO DE LA EVALUACIÓN (en coordenadas

espacio temporales)

-Aplicación instrumentos -Interacciones procesuales

-Recogida de información

DESPUÉS

TRATAMIENTO INFORMACIÓN

EVALUATIVA

Datos y informaciones

Valoraciones Evaluaciones

-En función del diseño evaluativo y del desarrollo (cultura evaluativa del grupo) habrá una decantación: -De datos. -De valoraciones subjetivas. -De evaluaciones (juicios intersubjetivos fundamentados en datos e informaciones objetivadas.

INFORMES EVALUATIVOS

METAEVALUACIÓN

-Tipología de informes -Receptores: cliente, usuario, consumidor, diudadano

Crítica de la evaluación

-Relación evaluación/entorno -Rigor y adecuación del diseño -Valor del desarrollo -Valor informes: significado, utilidad.

10

Un elemento básico para que los centros educativos desarrollen estrategias evaluativas internas es que dispongan de elementos para gestionar con autonomía los procesos evaluativos. Las fases en la gestión de la evaluación son: l) la planificación de la evaluación o diseño evaluativo, 2) el desarrollo de la evaluación, 3) el tratamiento de la información evaluativa, 4) la expresión documental de la evaluación (informes) y, 5) la reflexión crítica de la evaluación desarrollada (metaevaluación). En el Cuadro 4 se expresan gráficamente las distintas fases y los elementos del proceso de gestión evaluativa.

LA EVALUACION CURRICULAR La orientación curricular de la Reforma educativa en curso ofrece una perspectiva

superadora del concepto tradicional de evaluación como «calificación de los alumnos» (poner notas). En efecto, la evaluación -como hemos indicado anteriormente- es un recurso implícito en el proceso de enseñanza y aprendizaje con significación autoconstructiva para el profesor y para los alumnos.

Se pasa de una evaluación orientada unilateralmente por los resultados finales (notas) a una evaluación que aporte información sobre los procesos educativos especificando avances y identificando dificultades, de manera que tanto el profesor como el alumno aprendan y vayan adoptando las decisiones más idóneas. Lograrlo será un proceso lento, pero esperamos que inexorable, a medida que vaya emergiendo una cultura evaluativa que libere energías inéditas en las personas que participan en los procesos evaluativos.

En la literatura y en el discurso educativo más actual, cuando se habla de evaluación, inmediatamente se hace la distinción entre evaluación sumativa y formativa atribuyendo un significado opuesto y polarizado a estos conceptos. Hoy esta distinción maniquea no tiene sentido. Más bien entendemos la complementariedad de estos dos tipos de evaluación.

La LOGSE prescribe que la evaluación en la educación obligatoria es «continua y global» para la Educación Primaria, y «continua y integradora» para la Educación Secundaria Obligatoria. Por otra parte, hay normativa específica de «mínimos curriculares» en relación con las diferentes Etapas educativas y áreas curriculares. Estos dos factores permiten concluir que el modelo evaluativo durante los diez años de educación obligatoria es de tipo criterial (evaluación formativa centrada en el sujeto que aprende -criterio subjetivo-), pero referenciado en norma externa (evaluación formativa centrada en el criterio externo normativo -criterio objetivo-). Es decir, un modelo formalmente contradictorio (criterio subjetivo / objetivo), pero que -praxeológicamente- se supera a través de una integración ponderativa.

Una aproximación más detallada en la distinción de estos dos referentes criteriales, del sujeto que aprende (nivel del alumno: aptitudes y actitudes) y del objeto (programa de aprendizaje elaborado por el centro educativo o Proyecto Curricular), se aprecia en el

11

Cuadro 5.

Cuadro 5

En consecuencia, el modelo evaluativo expresado posibilita el desarrollo de actividades evaluativas insertas en el mismo proceso educativo por medio de: l) la observación de las actividades de aprendizaje (libre, pautada, etc.), descripción, narración, negociación, interpretación, caracterización, etc.; y 2) actividades evaluativas de contrastación y de recapitulación a través de la aplicación de pruebas variadas (test, escalas, cuestionarios, etc.), por ejemplo, al final de cada unidad curricular.

La información evaluativa resultante de estos dos procesos permitirá tener una visión más amplia de los avances del alumno, así como de sus dificultades; de la adecuación de la enseñanza dispensada y de la eficacia de la interrelación educativa.

En la regulación normativa de la evaluación choca el distinto tratamiento que se da a la evaluación obligatoria y a la postobligatoria. El mantenimiento del modelo de evaluación cuantitativa de resultados para la Educación Secundaria Postobligatoria obligará a una armonización de facto de la acción educativa, en muchos centros de Educación Secundaria Obligatoria, desde los parámetros de la evaluación cuantitativa (Bachilleres y Selectividad).

Por otra parte, el desafortunado modelo de ponderación evaluativa regulado para la Educación Primaria reduce la significación evaluativa a un esquema binario imperfecto, ya que los alumnos que «progresan adecuadamente», también «necesitan mejorar» y, éstos últimos, seguro que en algún aspecto han «progresado adecuadamente». LA EVALUACION FACTOR DE DESARROLLO PERSONAL Y PROFESIONAL

Los humanos evaluamos los objetos y las situaciones para conocerlas, comprenderlas y de

esta manera ubicarlas en un mundo de significados que nos sitúan existencialmente. Así, cuando evaluamos nos comunicamos con el objeto evaluado creando un mundo de relaciones determinado que actúa como señal y referente en nuestra comunicación con los otros.

Ciñéndonos a la realidad educativa, la información evaluativa debe resultar significativa -al profesor y al alumno- con el fin de posibilitar el ejercicio efectivo de la construcción de valores en relación a los procesos de enseñanza y aprendizaje. En este sentido, la evaluación es un factor constante de comunicación de valores construidos -en relación al aprendizaje- con efectos realimentadores del discurso y la acción del alumno y del profesor.

CRITERIO EXTERNO OBJETIVO

Norma -"Mínimos legales" (objetivos terminales de Etapa y área -Programa externo.

CRITERIO SUBJETIVO (INTERNO)

Criterio

interno- subjetivo

a) dimensión subjetiva: rasgos del sujeto que aprende -A priori: potencialidad de aprendizaje -A posteriori: aprendizaje realizado (lo que ha aprendido en un período dado)

CRITERIO OBJETIVO (INTERNO)

Criterio

interno- objetivo

b) dimensión objetiva: el programa de aprendizaje. -Proyecto Curricular (segundo y tercer nivel de concreción, incluyendo las adaptaciones curriculares individualizadas.

12

La comunicación evaluativa integrada en los procesos de enseñanza y aprendizaje es un factor de desarrollo profesional para el profesor y un recurso autoconstitutivo para el alumno y para el grupo-clase. No obstante, procede considerar que el aprendizaje valorativo no es lineal, sino que está mediatizado por factores situacionales de tipo personal, socioeconómico y cultural (códigos de poder y de control). En consecuencia, los valores construidos pueden responder a un signo de desarrollo y de emancipación o, contrariamente, de bloqueo, regresión y dependencia.

Como hemos indicado anteriormente, los estadios de construcción valorativa van desde las valoraciones puramente subjetivas, a las valoraciones intersubjetivas que pueden estar o no fundadas en datos e informaciones objetivadas. El uso de unas estrategias u otras en relación con las situaciones expresa la madurez axiológica de las personas y de los grupos. La pluralidad legítima de los valores, propia de las sociedades democráticas, añade un factor fundamental en los procesos de construcción evaluativa con aperturas al debate, la negociación, el contraste, el escrutinio crítico de las acciones, así como de la propia evaluación. En efecto, los valores atribuidos en un proceso evaluativo son, por definición, situacionales: serán válidos mientras no se disponga de datos e información que lleven a un juicio de valor más adecuado a la nueva situación. El Cuadro 6 expresa los estadios básicos en el proceso de construcción evaluativa.

Cuadro 6 Nota l. Esta distinción, entre otras, la expresó Scriven (1967) un marco de lucha entre el paradigma cuantitativo y el -emergente-cualitativo. Glosario Medida (encicl.): «Medir es determinar la cantidad de una magnitud por comparación con otra que se toma como unidad. "Igualar o comparar una actividad, aptitud. etc. con otra". "La medida es la expresión numérica del resultado de medir una magnitud, dimensión o cantidad". «Proporción de una cosa con otro».

- Construcción social de valores en base a datos e informaciones objetivadas.

EVALUACIÓN INTERSUBJETIVA

(Valoraciones objetivadas) - Conocimiento interpersonal.

- Construcción de valores fundamentados objetivamente.

EVALUACIÓN INDIVIDUAL

(Valoraciones objetivadas)

- Conocimiento personal.

- Investigación (básica, operativa sistemática, etc.).

- Marco socio-cultural. - Situación individual (experiencia personal)

HECHOS, DATOS, COMPROBACIONES FENÓMENOS DESCRIPTIBLES

- Conocimiento instrumental (ciencias fisico-naturales). - Conocimiento práctico (ciencias sociales).

VALORACIONES SUBJETIVAS

(individuales y colectivas)

- Mitos. - Creencias. - Opiniones

13

Valoración: «Valorar es la expresión de la capacidad humana de atribuir juicios de valor en relación a objetos, hechos, fenómenos y situaciones». Evaluación:«Evaluar es la expresión de la capacidad humana de construir valores ajustados a los hechos a partir de la consideración rigurosa de los datos e informaciones objetivadas». Referencias bibliográficas ALVIRA. F. (1982): «Perspectiva cualitativa-perspectiva cuantitativa en la metodología sociológica-. Revista Española de Investigaciones Sociológicas, 22, 53-57. COOK, T.D.; REICHARDT, CH.S. (1986): Métodos cualitativos y cuantitativos en

investigación educativa. Madrid. Morata. CRONBACH, L.J. (1963): «Course improvement through evaluation». Teachers College

Record 64, 672-683. GLASER, R. (1963): «Instructional technology and the measurement of learning outcomes: some questions.. American Psychologis 18, 519-521. MATEO, J.: «Conceptes i técniques d'avaluació. Avaluació educativa. Ponencia del Curs de Gestió i Direcció per a la Formació de Direcius Escolars, 1995. Barcelona. Generalitat de Catalunya (inédito). MACDONALD, B. (1976): «Evaluation and the control of Education.. En Tawney, D.: Curriculum evaluation today: Trends and implications Londres. McMillan. OWENS, T. (1973): «Educational evaluation by adversary procedings». En HOUSE, E. (comp.): School evaluation: The politics and process Berkeley (California). McCurchan. PARLETT, M.; HAMILTON, D. (1976): «Evaluation as illumination». En Tawney, D.: Curriculum evalualion today: Trends and implications. Londres. McMillan. PEREZ, A. (1983): «La evaluación didáctica». En: Gimeno, J.; Pérez, A.: La Enseñanza. su

teoría y su práctica. Madrid. Akal. POPHAM, WJ. (1971): Criterion-referenced measurement. Englewood Cliffs (New Jersey). Educational Technology Publications (trad. cast: Evaluación basada en criterios. Madrid. Magisterio Español, 1983). POPHAM, W.J. (1975): Educational evaluation. Englewood Cliffs (New Jersey). Prentice Hall. RUL, J. (1990): El proyecte de Gestió del Centre Educatiu. Barcelona. Departament d'Ensenyament. Generalitat de Catalunya. RUL, J. (1994): «L'avaluació comunicativa, factor de creixement professional, organitzativa i curricular». Perspectiva Escolar, 183, 23. RUL, J. (en prensa): La memoria avaluativa del Centre Educatiu. Un model integral d`avaluació organitzativa y curricular. Barcelona. Departament d'Ensenyament. Generalitat de Catalunya. SANTOS, M. A. (1990): Hacer visible lo cotidiano. Teoría y práctica de la evaluación

cualitativa en los centros escolares. Madrid. Akal. SCRIVEN, M. (1967): "The methodology of evaluation". En Stake, R.W. y otros: Perspectives

on curriculum evaluation AERA (Monograph Series on Curriculum Evaluation), l. Chicago. Rand McNally. STAKE, R.E. (1975): «Program evaluation particularly responsive evaluation-. Occasional Paper Series, 5. Chicago. Evaluation Center/Western Michigan University. STUFFLEBEAML, D.L. (1971): «The relevance of the CIPP evaluation model for educational accountability». Journal of Research an Development in Education,1, vol. v, 19-25 THORNDIKE, R-L (1971):,Educational measurement. Washington. American Council of Education. TYLER, R.W. (1942).-General statement of evaluation-. Journal of Educational Research, 35. 492-501. TYLER, R.W. (1967): Changing concepts of educational evaluation». En: Stake, R.E. (comp.): Perspectives of curriculum evaluation. (vol. l), New York. Rand McNally.

14

Actividad 1: DISEÑO DE EVALUACIÓN N. Zaitegi y Rul Finalidad de esta evaluación: Agentes: Audiencias o receptores:

Objeto:

Objetivos: 1. 2. 3. n. Objetivos Indicadores de calidad

1

1.1 1.2 1.n

2

1.1 1.2 1.n

3

1.1 1.2

15

1.n

N

n.1 n.2 n.n

INSTRUMENTOS DE EVALUACIÓN: Nº Obj/Ind. Tipo Nombre

NORMAS DE APLICACIÓN:

Éticas

• • •

Técnicas

• • • • • • •

RECURSOS:

Humanos

Materiales

Funcionales

REUNIONES DE EVALUACIÓN:

Tarea Participantes Fechas

16

INFORMES • • • • • •

METAEVALUACIÓN • • • • • •

17

DISEÑO DE EVALUACIÓN Finalidad de esta evaluación: Clarificar el fin último de la evaluación ayudará a quitar posibles temores por el uso que de la misma pueda hacerse y las consecuencias que del mismo puedan derivar para las personas evaluadas. En la evaluación interna es importante definir la finalidad en la fase previa o de sensibilización. La evaluación, a grandes rasgos, puede servir como mejora (conocer para mejorar), como mejora (proceso de desarrollo personal e institucional) o de la mejora (de las acciones que se han puesto en práctica). En las instrucciones se proponen 5 finalidades. Agentes: Quién o quiénes llevarán a acabo la evaluación: Responsables (Una Comisión de evaluación. Equipo Directivo) y colaboradores. En una metodología participativa los agentes podrían clasificarse en responsables y directores del proceso evaluativo y participantes en el análisis de los datos y en la creación de juicios de valor y propuestas de mejora. Audiencias o receptores: A quién se informará de los resultados de la evaluación, a nivel interno y externo. Hay que preguntarse a quién le interesa, qué le interesa y para qué.

Objeto: Responde al qué evaluar. Es el tema, o conjunto de temas interrelacionados, seleccionado para ser evaluado debido a su relevancia, evaluabilidad, practicidad y concreción. Puede referirse a un tema concreto de necesidad e interés para el centro o alguno de los que se citan en las instrucciones. Se ha de redactar con precisión, lo más claro y simple posible. De la forma más unívoca posible: Tema, descriptores de concreción y descriptores de ubicación. “La coordinación del profesorado del primer curso de la ESO, en el curso 2008-09.

Objetivos: Lo que se pretende en relación con el objeto, ¿qué interesa conocer del objeto?, ¿qué es relevante de este objeto? (ver taxonomía) La estructura formal integra estos dos elementos: verbo en infinitivo y determinantes de la acción. 1. Conocer la estructura organizativa para la coordinación en esta etapa 2. Relacionar el plan de coordinación de esta etapa con las directrices para la coordinación del

Reglamento de funcionamiento del centro. 3. Verificar el cumplimiento del plan de coordinación. Objetivos Indicadores de calidad: descripción del estado ideal, que se somete a una valoración para

determinar las discrepancias entre este estado ideal y el real, esta distancia indicará las modificaciones necesarias para la mejora De cada objetivo se definen los indicadores; pueden ser uno o varios

3 3.1. Existe una planificación de la coordinación

3.2. Se han realizado todas las reuniones previstas en el mismo

3.3. Se han tratado los temas previstos

3.4. Los acuerdos tomados en las sesiones de coordinación se hacen operativos

3.5. Todo el profesorado está satisfecho del clima y trabajo realizado en las sesiones de coordinación

18

INSTRUMENTOS DE EVALUACIÓN: Son las herramientas diseñadas para recoger la información necesaria. Se pueden adoptar, adaptar o crear. Pueden ser cuantitativos, cualitativos o mixtos. (ver clasificación de los instrumentos de

evaluación)

Nº Obj/Ind. Tipo Nombre 1 3.1

3.2 3.3

Guía/An/Doc.

Plan de coordinación: contenido, reuniones, temas, etc

2 3.2 3.3 3.4 3.5

CUE Profesorado del Primer ciclo de ESO: trabajo realizado y satisfacción

NORMAS DE APLICACIÓN: Éticas

Hacen referencia a las garantías previas como la confidencialidad, el anonimato, el respeto a las personas separándolas de sus actuaciones, etc. Se negocian y se explicitan. Se evaluarán en la metaevaluación.

Técnicas

• Orientaciones/instrucciones para la aplicación • Calendario de aplicación • Recogida y tratamiento de los datos: Identificación de los datos e informaciones más

significativas. • Otras

RECURSOS:

Humanos Responsables, colaboradores, asesores

Materiales Reprografía, gastos varios, costo del asesoramiento, dietas, etc. Funcionales Tiempo. Ajustado a las tareas. Contabilizar el tiempo de todas las personas

participantes (suele ser uno de las recursos escasos y que hace fracasar buenos diseños) Formación: Necesidades y respuesta a las mismas. Asesoramiento Tecnología: Modelos de diseños de evaluación, instrumentos, etc.

REUNIONES DE EVALUACIÓN: Recogerá: Los procedimientos que se van a aplicar para garantizar la participación de todos los sectores de la comunidad escolar tanto en el proceso como en los resultados, incluida la valoración de las conclusiones y la formulación de las correspondientes propuestas de mejora. (Orden 16/9/1996. Art. 17)

Tarea Participantes Fechas

1ª Sensibilización. Necesidad de evaluar. Potencialidad de la evaluación interna

¿Todo el claustro? ¿C.Escolar?

¿Otros?

¿?

2ª

Negociación del diseño ¿?

3ª Análisis de los datos, creación de juicios intersubjetivos, propuestas de mejora

4ª Negociación de informes Metaevaluación

N

19

INFORMES • Comunicación escrita, claro, fácil de entender, con información, juicios de valor y propuestas de

mejora. • Tipología, según los receptores • Terminología adecuada a los receptores • (ver modelo de informe evaluativo)

METAEVALUACIÓN • Es evaluación de la evaluación con el fin de identificar los pintos fuertes y débiles que, en un

proceso de aprendizaje continuo, orientan la acción corrigiendo los posibles errores. Supone recoger información, analizarla, valorarla y detectar las mejoras necesarias.

• (ver ficha metaevaluativa)

Este es un posible modelo de diseño, existen o pueden elaborarse otros, para trabajarlo en talleres

con el ETCP, Equipos Directivos o profesorado responsable de la evaluación interna

El diseño de la evaluación se ha realizado tomando como referencia el modelo evaluativo GE-

Rs de J. Rul, los principios de la evaluación basada en el centro de D. Nevo y de los principios para la

evaluación interna del centro de M.A. Santos Guerra (ver bibliografía)

ALGUNAS LECTURAS SOBRE EVALUACIÓN

LIBROS: SIMMONS, H. (1995) La autoevaluación escolar como proceso de desarrollo del profesorado. En

apoyo a las escuelas democráticas. En AA.VV. Volver a pensar la educación. Madrid. Morata CASANOVA, Mª A.(1995) Manual de evaluación educativa. Madrid. La Muralla NEVO, D. (1997). La evaluación basada en el centro. Bilbao. Mensajero HOUSE, E. R. (1994) Evaluación ética y poder. Madrid. Morata SANTOS GUERRA, M. A. (1990) Hacer visible lo cotidiano. Madrid. Akal

ARTÍCULOS: Evaluación interna de centros. Tema del mes. Cuadernos de Pedagogía, nº 283. Septiembre de 1999. Barcelona. Praxis. JORBA, J. ET AL. (1993) La función pedagógica de la evaluación. Aula de Innovación educativa. Nº 20, Noviembre. Barcelona RUL, J. (1995) La evaluación comunicativa, factor de desarrollo humano, organizativo y curricular.

Valorar, medir y evaluar. Aula de innovación educativa Nº 38 Barcelona RUL, J. (1998) Evaluar, ¿moda o necesidad?. Aproximación a la función de la evaluación en la

educación. Aula de Innovación educativa Nº 70 Barcelona

20

Actividad 2: INDICADORES DE CALIDAD

Los buenos profesionales buscan incesantemente evidencias del éxito conseguido en su actuación profesional. Se preguntan: ¿cómo lo estamos haciendo?

La pregunta exige claridad acerca de lo que intentamos conseguir (objetivos) y acerca de

cómo sabemos si lo hemos conseguido (indicadores de éxito, indicadores de calidad). 1. Selección y uso de indicadores de calidad

Toda evaluación tiene algo de comparación. De modo explícito o implícito, la información recogida en el proceso de seguimiento de una actuación incorpora criterios que permiten enjuiciar la actuación y los tipos de información que son evidencia de éxito o de fracaso. Ésta es el mundo de los indicadores de calidad.

"Un indicador de calidad es una afirmación que guía la valoración del logro de un programa o actuación. Permite asimismo fijar finalidades y clarificar objetivos. Para algunos indicadores de calidad una breve afirmación es suficiente. Para otros la afirmación necesita ser más específica y referirse a procesos complementarios que aporten medida de profundidad, calidad y/o implicación en determinada área o programa."

La selección y uso de indicadores de calidad no es necesariamente una compleja tarea

técnica, aunque algunos procesos de evaluación de las actuaciones en educación requieren un conocimiento específico, tanto en la aplicación como en la interpretación. 1ª pregunta: ¿Que se quiere conseguir?

Esta es la primera pregunta que requiere discutirse y sopesarse. Se necesita identificar las distintas áreas de actuación de cada programa y las preguntas que nos permitirán recoger la información oportuna. 2ª pregunta: ¿Cuáles son los indicadores de éxito apropiados?

Una vez identificadas las distintas áreas de actuación, se necesita identificar procesos, conductas, actuaciones... que nos permitan certificar el éxito en una determinada área. Es importante desarrollar un marco sistemático para que aparezcan todas las áreas de actuación relevantes y los indicadores apropiados para cada una de ellas. (Ver act. 1). 3ª pregunta: ¿Qué información recoger y procesar?

La recogida y el procesado de los datos puede requerir refinar aún más los criterios de éxito, los indicadores de calidad. Los medios a nuestra disposición son variados: cuestionarios, entrevistas, observación... 4ª pregunta: ¿Con qué se pueden comparar validamente nuestros resultados?

Todo el proceso anterior tiene que situarse en una perspectiva de comparación. La mejora siempre se mide en relación a determinados estándares que permiten hacer un juicio de valor. Existen tres tipos de estándares:

•••• comparativos ¿cómo lo hacemos en comparación con otro programa similar? •••• de progreso ¿qué camino hemos recorrido? •••• objetivos ¿estamos consiguiendo lo que nos propusimos?

21

5ª pregunta: ¿qué otro tipo de información necesitamos para contextualizar los resultados?

Tenemos que preguntarnos si la comparación es válida. Programas similares en otro contexto pueden tener poco que ver con los nuestros. Con todo demasiado frecuentemente se argumenta en educación que no se pueden medir los logros porque las situaciones son únicas. Curiosamente esta especificidad se pone como excusa de actuaciones pobres. Algunas estrategias para resolver estos problemas:

- Usar técnicas estadísticas que expliquen las diferencias. - Buscar otras fuentes de comparación. Mide en forma de progreso y no en términos comparativos.

- Buscar información variada que aporte todas las dimensiones del éxito. 6ª pregunta: ¿qué conclusiones podemos sacar?

Se puede establecer vínculos entre los procesos de mejora y el uso de indicadores de calidad, de la siguiente manera:

• determinación de áreas de actuación, con una o más preguntas para cada una. • identificación de criterios de logro para cada área de actuación. • determinación del tipo de datos a recoger y analizar para que sirvan de evidencia en

relación con los criterios escogidos. • determinación de la base sobre la cual se va a juzgar la actuación. • consideración de circunstancias particulares que pueden ayudar en la interpretación

del nivel de actuación. 2. Acerca de los indicadores de calidad (proceso)

Que sean claros y simples. Que se fijen después de un proceso de discusión. Que se impliquen en su determinación los responsables de poner en práctica los programas. Que se utilicen con intenciones de mejora y desarrollo. Que estén en un proceso de revisión permanente.

22

ACTIVIDAD:

Proponer indicadores de calidad (indicadores de logro, de éxito) Finalidad: Facilitar a los participantes la comprensión de los indicadores de calidad que deben aplicarse a una actividad o un programa, como parte de un proceso de evaluación. Contexto: Un grupo que planifica un programa o actividad educativa, o más específicamente, un grupo que tiene que determinar cómo será evaluado. Materiales: Cartulinas grandes y rotuladores. Procedimiento: 1. El grupo empieza con respuestas rápidas (lluvia de ideas) a la siguiente pregunta:

"¿Qué fenómenos observables nos indicarían que el programa o la actividad ha tenido éxito?"

En este contexto, observable significa simplemente que es posible recoger información

relevante, a través de la observación, entrevista, análisis de documentos, procedimientos estadísticos... Las evidencias pueden ser cuantitativas (resultados de exámenes, costes, índices de absentismo o asistencia) o cualitativas (percepciones de los profesores/as y alumnos/as, percepciones sobre aspectos del proceso de enseñanza y aprendizaje).

Intentad generar una lista lo más larga posible. Tomar nota.

2. El grupo discute la lista y quita los elementos duplicados. Clarifica las afirmaciones

ambiguas. 3. Se agrupan el resto de indicadores en torno a áreas de actuación, a las que se otorga una

nombre apropiado. 4. Revisad la situación:

• ¿Las áreas de actuación se corresponden con las dimensiones más importantes del programa o de la actuación educativa? ¿Faltan aspectos importantes (recursos, satisfacción del usuario...)?

• ¿Hay un número de indicadores suficientes para cada área? Consideraciones: Al hacer esta actividad es importante seguir las reglas del "brainstorming" con fidelidad:

· No juzgues. Todas las ideas se anotan sin hacer comentarios. · No ejerzáis autocontrol. Las ideas que no sirven se pueden desechar posteriormente. · Cuantas más mejor. Inicialmente lo que importa es la cantidad. · Establece relaciones. Combinad ideas para generar otras nuevas.

PROPONER INDICADORES DE CALIDAD

Considerar un programa o actuación educativa de vuestro interés. Individualmente o en grupo determinar un conjunto de indicadores de calidad ( de éxito o de logro), utilizando la rejilla inferior.

CUANTITATIVOS CUALITATIVOS Entradas/Contexto

Procesos

Resultados

Actividad 3:

DATOS IDENTIFICATORIOS DE LA EVALUACIÓN DESARROLLADA Institución educativa:___________________________________________________ Objeto de evaluación:____________________________________________________ Evaluadores:_____________________________Fecha________________________

FICHA METAEVALUATIVA

ANOTACIONES ASPECTO Agente Escenario OPINIONES

Objeto

Objetivos

Instrumentos

DISEÑO

Recursos

Aplicación Instrumentos

Procesamiento Información

Sesión evaluación

D E S A R R O L L O

Resumen/ Informe

COMUNICACIÓN

PARTICIPACIÓN

UTILIDAD

TIEMPO EMPLEADO (adecuación)

1

TAXONOMÍA DE LOS OBJETIVOS (*)

(*) Propuesta de acciones para la formulación de objetivos a partir de los trabajos clasificatorios de BLOOM, B.S. (1972): Taxonomía de los objetivos de educación: ámbito del conocimiento. Marfil. Valencia, y de KRATHWOHL, D.R. (1973): Taxonomía de los objetivos de educación: ámbito de la afectividad. Marfil. Valencia.

CATEGORÍAS DOMINIO COGNOSCITIVO

1.

CONOCIMIENTO

-Definir, describir, identificar, enumerar, nombrar, seleccionar, localizar, recordar, representar, reconocer, esquematizar

2.

COMPRENSIÓN

-Distinguir, captar, explicar, generalizar, dar ejemplos, deducir, producir, resumir, demostrar, precisar, interpretar, formular una regla, predecir

3.

APLICACIÓN

-Demostrar, descubrir, manipular, modificar, preparar, producir, relacionar, resolver, usar

4.

ANÁLISIS

-Separar, diferenciar, discriminar, distinguir, identificar, ilustrar, deducir, relacionar, seleccionar, descifrar

5.

SÍNTESIS

-Clasificar, combinar, compilar, componer, explicar, producir, modificar, relacionar, resumir, elaborar, generalizar

6.

EVALUACIÓN

-Apreciar, comparar, concluir, contrastar, criticar, describir, discriminar, justificar, interpretar, relacionar, resumir, juzgar, comparar

CATEGORÍAS DOMINIO AFECTIVO

1.

RECEPTIVIDAD

-Preguntar, identificar, seleccionar, escuchar, aceptar, atender

2.

RESPUESTA

-Contestar, discutir, realizar, practicar, seleccionar

3.

VALORACIÓN

-Completar, describir, diferenciar, explicar, seguir, iniciar, justificar, seleccionar, aceptar, ponderar

4.

ORGANIZACIÓN

-Ordenar, combinar, comparar, completar, explicar, generalizar, identificar, integrar, organizar, relacionar, sintetizar

5. CARACTERIZA-

CIÓN

-Discriminar, escuchar, modificar, practicar, preparar, preguntar, revisar, verificar, actuar

2

CUADRO. Clasificación de los instrumentos de evaluación

CLASIFICACIÓN TIPOS DE INSTRUMENTOS Objetividad /

Cuantitativo Objetividad / Cualitativo

Subjetividad /Cuantitativo

Subjetividad /Cualitativo

A. PRUEBA [test, cuestionario estandararizado, escala estandarizada]

1.PRUEBAS ESCRITAS 1.1. ELABORACIÓN DE RESPUESTAS

1.1.1. No estructuradas: composición •

1.1.2. Semiestructuradas: respuestas guiadas •

1.1.3. Estructuradas: respuestes breves •

1.2. SELECCIÓN DE RESPUESTAS

1.2.1. Alternativas constantes •

1.2.2. Opciones múltiples •

1.3. ORDENACIÓN EN UN CONTEXTO • •

1.4. MULTIITEM DE BASE COMÚN • •

2. PRUEBAS ORALES

2.1. Con Base no Estructurada • •

2.2. Con Base Estructurada •

3. PRUEBAS PRÁCTICAS [construcciones, elaboraciones]

• •

B. CUESTIONARIO

CUESTIONES PARA OBTENER INFORMACIÓN

1.1. Obtener Conocimiento (personal) • (1) • •

1.2. Obtener priorizaciones • • CUESTIONES PARA OBTENER VALORACIONES

2.1. Valorar opciones binarias • • • 2.2. Respuesta a opciones matitzadas (3 o más) • • • C. OBSERVACIÓN

1. CATEGORIAL

1.1. Lista de Comprobación [abierta o cerrada] • •

1.2. Escala de valoración • •

2. DESCRIPTIVA [emic o etic] • • • • 3. NARRATIVA

3.1. Registro de actas, diarios, notas de campo • • • 3.2. Incidente crítico • • • 4. TECNOLÓGICA

4.1. Registro en audio, video, fotografía • • • • D.ENTREVISTA • • • 1. Entrevista Pautada •

2. Entrevista Libre • E. INTERACCIÓN [reunión, dinámica grupal, negociación]

• •

(1) Conocimiento experto. Cuestionarios a profesionales sobre temas de su especialidad con preguntas muy precisas sobre cuestiones sobre las que tengan experiencia contrastada.

3

Cuadro . Ejemplos de los distintos instrumentos de evaluación A. PRUEBA [test, cuestionario

estandararizado, escala estandararizada]

EJEMPLOS OBSERVACIONES

1.PRUEBAS ESCRITAS. 1.1.ELABORACIÓN DE RESPUESTAS

1.1.1. No estructuradas: composición

-“Describir el funcionamiento de las reuniones de departamento. Citar el ambiente, la efectividad y las consecuencias”

-Poco objetivable y cuantificable

1.1.2. Semiestructuradas: respuestas guiadas

-“En las reuniones se dan tres tipos de roles: los que se orientan a la tarea, al grupo e individuales: a) describir los roles....b) citar los roles más frecuentes.

-Menos objetivable y cuantificable

1.1.2. Estructuradas: respuestas breves

-“¿Cuáles son los elementos que componen el agua?: Hidrógeno y oxígeno

-Objetivable y cuantificable

1.2. SELECCIÓN DE RESPUESTAS

1.2.1. Alternativas constantes -“La Tierra tiene un satélite. SI - NO Objetivable y cuantificable

1.2.2. Opciones múltiples -“¿Qué palabra significa lo mismo que sencillo? a) avergonzado, b) disminuido, c) modesto, d) pobre

Objetivable y cuantificable

1.3. ORDENAMIENTO EN UN CONTEXTO

-“Ordenar los planetas según su distancia al Sol comenzando por el más próximo. __Marte, __Júpider, __Venus, __Neptuno, __Plutón,....

-Según el tema son más o menos objetivables y cuantificables. Esta lo es

1.4. MULTIITEM DE BASE COMÚN

-MENÚ: 100 g de sopa de tapioca, 200 g de albóndigas de cerdo, 200 g de salmón, 200 g de pan, 50 g de tarta de chocolate y 1/2 litro de vino -Este menú es útil para: a) engordar, b) adelgazar, c) enfermos del

hígado, d) con úlcera de estómago -Este menú es pobre en: a) carbohidratos, b) proteínas, c) grasas, d)

vitaminas

Según el tema son más o menos objetivables y cuantificables.

2. PRUEBAS ORALES

2.1. Con Base no Estructurada -Esposición, discusión. Hay que dotarse de fichas u hojas de calificación a partir de criterios

-Poco objetivable y cuantificable

2.2. Con Base Estructurada -“Contar una historia que tenga tres protagonistas (hombre, mujer, anciano). La historia ocurre en un tren. Tiempo máx: 10 minutos “

-Menos objetivable y cuantificable

3. PRUEBAS PRÁCTICAS [construciones, elaboraciones]

-“Construir una pecera” (ofrecer una lista de operaciones, herramientas, materiales e instrucciones)

-la objetivación depende de la concreción de los criterios de evaluación

4

B. CUESTIONARIO

EJEMPLOS OBSERVACIONES

1.CUESTIONES PARA OBTENER INFORMACIÓN

1.1. Obtener Conocimiento -“Cita razones y criterios que permitan dinamizar el funcionamiento de las reuniones de claustro de profesores:______________________”

-Esta información la proporcionan personas que tienen conocimientos especializados o experiencia

1.2. Obtener priorizaciones -“Cita los dos temas más relevantes tratados en las reuniones departamentales del último trimestre 1:___________ 2:____________”

2.CUESTIONES PARA OBTENER VALORACIONES

-“¿Cuál es tu opinión sobre las reuniones que se celebran?”

-Son juicios abiertos que permiten conocer las percepciones de las personas, sus puntos de vista

2.1. Valorar opciones binarias -“¿Has asistido al 90% de las reuniones de departamento? SÍ - NO”

-Pueden hacerse ítems con cuestiones de respuesta y contrastarlas con la demanda de información

2.2. Respuesta a opciones matizadas (3 ó más)

-“¿Son útiles las reuniones de departamento? POCO- BASTANTE- MUCHO” -“Valora la eficacia de la coordinación del departamento 0 -1 -2 - 3 - 4”

C. OBSERVACIÓN EJEMPLOS OBSERVACIONES

1. CATEGORIAL

1.1. Lista de Comprobación [abierta o cerrada]

-“Procedimiento de llamada telefónica: a) descolgar y esperar tono SÍ - NO b) marcar número sin errores SÍ -NO c) oir tono de marcado y esperar respuesta SÍ- NO d) opciones: comunica SÍ -NO responde SÍ- NO contestador automático SÍ- NO d) colgar el telefóno al terminar SÍ- NO”

-Proporciona información descriptiva más que medición

1.2. Escala de valoración -“Valorar una exhibición deportiva. Puntuar: 1 -2 - 3 - 4

-El observador para puntuar necesita tener criterios que orienten la observación

2. DESCRIPTIVA [emic o etic] -“Descripción de una ceremonia...” -“Descripción de una profesor del desarrollo de una clase y la conducta de los alumnos”

-Etnométodos: Emic: la descripción se situa en el punto de vista del observado con su lenguaje, códigos, visión, etc. Etic: expresa el punto de vista del observador sobre lo observado

3. NARRATIVA

3.1.Registro de actas, diarios, notas de campo

-“...después de debatir el estado de cuentas se aprobó la contabilización del año 1998 de acuerdo con el presupuesto”

-Narración del desarrollo de las sesiones de los órganos, diarios y notas de campo.

3.2. Indicente crítico -“20/01/99: El alumno “n” llegó tarde a clase, entró en el aula y dijo interrumpiendo a la profesora que se había peleado con sus padres y empezó a llorar...”

-Descripción de hechos significativos, átipicos o peculiares.

5

4. TECNOLÓGICA

4.1. Registro en audio, video, fotografia -“Vídeo de una sesión del departaemento de ciencias” -“Grabación de una conversación en inglés”

-Observaciones con apoyo de aparatos tecnológicos de reproducción de imágenes y sonidos con distintas finalidades

D.ENTREVISTA EJEMPLOS OBSERVACIONES 1. Entrevista Pautada -“Profesor y los padres de un alumno.

Pauta: .Informació del profesor: actitud del alumno, desarrollo de tareas, rendimiento .Información de los padres: horario para hacer deberes, espacio específico para trabajar, expectativas de los padres...”

-Técnica con la que el sujeto proporciona impresiones, criterios, opiniones.... En la pautada el entrevistador tiene un guión que orienta y canaliza la entrevista

2. Entrevista Libre -“Profesor y padres al final de la ESO: perspectivas de futuro del alumno”.

-En la entrevista libre el entrevistador y el entrevistado conversan sin referentes fijados de antemano, aunque puedan ceñirse a una temática determinada

E. INTERACCIÓN [reunión, dinámica grupal, negociación]

EJEMPLOS OBSERVACIONES

1. Reunión -Proceso de comunicación e interacciones a partir de una temática que consta en el orden del día

-Reuniones formales e informales

2. Dinámica grupal -Lluvia de ideas sobre posibles actividades complementarias en una escuela"

-Situaciones de intercambio e interacción. Diversas técnicas

3. Negociación -“Negociación de los horarios de los profesores del Instituto X” -“Implicación de los profesores en las excursiones de con los alumnos”

-Interacción con agentes agonistas y antagonistas: se defienden posturas e intereses, se cede por ambas partes y, finalmente, se llega a acuerdos aceptados por todos. -Puede ser con o sin referentes criteriales, normativos, etc.

6

MODELO DE INFORME EVALUATIVO

INFORME EVALUATIVO INSTITUCIÓN:…………………………………………………………………… OBJETO DE EVALUACIÓN:……………………………………………………. EVALUADOR/ES:…………………………………………FECHA:……………. AUDIENCIAS:…………………………………………………………………….

Órganos que reciben el informe y fecha de emisión

1. JUICIOS DE VALOR -VALORACIONES GENERALES: -JUICIOS EVALUATIVOS ESPECÍFICOS: -Objetivo 1: -Objetivo 2: …..

2. PROPUESTAS

7

Actividad 4:

DISEÑO DE UN PROCESO EVALUATIVO (1) Considera a quienes es necesario implicar en un proceso de evaluación y la mejor manera de hacerlo.

IMPLICACIÓN EN LA EVALUACIÓN Grupo Personas Liderazgo ¿Quién? ¿Cómo?

Participación ¿Quién? ¿Cómo?

Consulta ¿Quién? ¿Cómo?

Rendir cuentas ¿Quién? ¿Cómo?

Apoyo externo ¿Quién? ¿Cómo?

8

DISEÑO DE UN PROCESO EVALUATIVO (2) Considera a quienes es necesario implicar en el proceso de evaluación y la mejor manera de hacerlo IMPLICACIÓN EN LA EVALUACIÓN Fase 1: Determinación del enfoque ¿Quién/es debe/n participar?

¿Cómo?

Fase 2: Preparación de la estrategia ¿Quién/es debe/n participar?

¿Cómo?

Fase 3: Clarificación de la finalidad (propósito) ¿Quién/es debe/n participar?

¿Cómo?

Fase 4: Determinación de los criterios e indicadores ¿Quién/es debe/n participar?

¿Cómo?

Fase 5: Recogida de la información ¿Quién/es debe/n participar?

¿Cómo?

Fase 6: Redacción del informe y conclusiones ¿Quién/es debe/n participar?

¿Cómo?

Fase 7: Sugerencias para la actuación ¿Quién/es debe/n participar?

¿Cómo?