biblioteca daniel cosío villegasbiblio.colmex.mx/curso_formacion_formadores/calidad de las...
TRANSCRIPT
Biblioteca Daniel Cosío Villegas Curso de Formación de Formadores de
Usuarios de la Información
MODULO 6: EVALUACION
Febrero-Marzo 2003
Tabla de contenido Introducción
Calidad de las acciones formativas. La evaluación: condición de un proceso de aprendizaje
Objeto de evaluación.
Criterios de evaluación.
La formulación de los criterios de evaluación
La cantidad de criterios de evaluación
El instrumento de evaluación.
El evaluador.
Los resultados de la evaluación.
Uso para la mejora.
De la comprobación de aprendizajes al sistema de evaluación
El plan de evaluación.
La evaluación de programas.
La evaluación interna
Cómo se hace la evaluación
Metodología de evaluación
La evaluación externa
Instrumentos de evaluación
La evaluación de la docencia.
La evaluación de los estudiantes.
Evaluación del programa: criterios e indicadores de calidad
¿Cómo podemos valorar un programa docente?
Criterios administrativos
Criterios pedagógicos
Criterios de contenido
2
Criterios de evaluación de un programa docente.
Propuesta de criterios e indicadores generales
Criterios de evaluación del Educational Software Consortium
Criterios de evaluación estratégica (Castellán)
Principales indicadores de calidad de un programa docente.
Indicadores pedagógicos
Instrumentos de evaluación del programa docente
Evaluación de la docencia: criterios e indicadores de calidad
La evaluación de los aprendizajes: criterios e indicadores de calidad
La evaluación ¿hasta dónde llegar?
3
Introducción Calidad de las acciones formativas. Hoy en día, todo el mundo tiene presente la importancia de la evaluación y, en muchas ocasiones, cuando nos presentan una acción formativa o un material preguntamos por el sistema de evaluación conscientes de que es una de las claves para garantizar la calidad del proyecto.
La evaluación se va ubicando en el sitio que le corresponde dentro de la teoría de la educación, pero aún falta tiempo y esfuerzo para que la evaluación sea aceptada realmente como elemento clave en cualquier proceso de aprendizaje. Que esto suceda no depende únicamente del desarrollo que los expertos hagan del tema sino también de su capacidad y de la de todos los implicados en procesos educativos de generar una cultura de evaluación que permita entenderla y verla como un factor de garantía de calidad de las acciones formativas.
La tradición de evaluación educativa ha dado mayor relevancia a la fase de control e identificación de lo que se ha conseguido y de las ausencias que a cualquier otra fase y elementos propios de la evaluación. La evaluación, entonces se había reducido a un mecanismo de premio o castigo en función de la identificación de éxitos y objetivos conseguidos o la detección de ausencias.
En las últimas décadas se ha hecho un esfuerzo para situar de nuevo la evaluación en el lugar que le corresponde, pero independientemente de creernos o entender mejor o peor los aspectos claves de la teoría de la evaluación acostumbramos a reproducir los patrones según los cuales hemos sido evaluados, que convierten la evaluación en algo similar a un obstáculo a superar dentro del proceso de aprendizaje.
Cualquier proceso de evaluación tiene sentido en tanto que contribuye a la mejora de un proceso de aprendizaje y garantiza la calidad educativa.
Desde esta perspectiva tan importante es la evaluación de los aprendizajes, como la evaluación del programa y de los recursos utilizados, de la docencia, de las instituciones educativas, etc.
Todo intento de promover una acción formativa ha de considerar el sistema de evaluación que permitirá garantizar la calidad.
Es necesario generar una cultura de evaluación que permita entenderla y vivirla como un factor de garantía de calidad de las acciones formativas.
La evaluación: condición de un proceso de aprendizaje Objeto de evaluación.
El primer paso para garantizar la calidad de las acciones formativas consiste en definir aquello que queremos evaluar y el tipo de decisiones que esta evaluación nos permitirá tomar.
4
El tipo de evaluación más habitual es la de los aprendizajes conseguidos al finalizar una acción formativa (evaluación sumativa) y la decisión que se desprende es la calificación que se otorga a las personas que han seguido esta formación.
Cada día es más frecuente la evaluación de los conocimientos en relación a la formación de que disponen los que tendrán que participar (evaluación inicial o diagnóstica) o de los aprendizajes que se van consiguiendo a lo largo de la formación (evaluación formativa o de proceso), de las cuales se desprenden decisiones respecto a la orientación y el refuerzo del aprendizaje.
No obstante, la garantía de la calidad de los aprendizajes pasaría por identificar las virtudes y las debilidades de cualquiera de los elementos que intervienen en un proceso de aprendizaje y por tomar decisiones que contribuyen a la mejora de sus efectos.
Todo es susceptible de ser evaluado, pero no lo podemos evaluar todo.
Los procesos de evaluación se enmarcan en un proceso de aprendizaje y esto se ha de dar en un momento y a partir de unos recursos determinados. Los procesos de evaluación también requieren de su propio tiempo y de sus recursos, por lo que no es posible evaluarlo todo. Hace falta que definamos qué queremos evaluar y para qué.
La respuesta al qué queremos evaluar constituye el objeto de evaluación. Cuando formulamos esta pregunta frente a una acción formativa pueden aparecer diferentes respuestas u objetos de evaluación, cada una de ellas constituirá un proceso de evaluación y su conjunto llegará a ser sistema de evaluación.
El hecho que la tradición de la evaluación educativa haya propiciado que habitualmente sólo se tenga en cuenta la evaluación final de los aprendizajes es una consecuencia bastante lógica de la formulación de esta pregunta, ya que es innegable el interés que despierta el hecho de saber qué han aprendido las personas que han participado en una acción formativa, el problema es que si éste es el único proceso de evaluación que nos proponemos dentro de una acción formativa las posibilidades de mejora quedan muy limitadas, más cuando generalmente esta evaluación está dirigida a certificar los aprendizajes conseguidos más que a tomar decisiones de mejora respecto a futuras ediciones del curso o acción formativa.
El objeto de evaluación más habitual son los aprendizajes de los alumnos, pero no ha de ser el único.
Dada la dificultad de evaluarlo todo en todo momento, cuanto más concreto es el objeto de evaluación más fácil resultará garantizar la viabilidad del proceso de evaluación y también la posibilidad de tomar decisiones de mejora de la calidad de las acciones formativas.
Cuando una acción formativa forma parte de un conjunto y se repite de forma cíclica (por ejemplo una asignatura de unos estudios o un curso de postgrado), conviene que los procesos de evaluación que se vinculen vayan variando, que los objetivos de la evaluación sean diferentes y su suma permita conseguir una mejora global de la calidad de la acción formativa.
5
Definir el objeto de evaluación implica identificar qué y para qué queremos evaluar.
La mejora de la calidad de una acción formativa pasa por ir centrando la atención en diferentes objetos de evaluación e ir tomando decisiones de mejora en relación a los mismos.
Criterios de evaluación.
Una vez definido qué queremos evaluar y qué efecto esperamos de la evaluación o qué tipo de decisiones de mejora esperamos tomar, es necesario concretar y definir los criterios de evaluación, es decir, las características que nos permitirán establecer el grado de calidad del objeto de evaluación.
El hecho de que los criterios de evaluación sean unos u otros, provocará evidentes diferencias en el resultado de la evaluación y en el tipo de decisiones a tomar.
Tomando como ejemplo la evaluación de las actividades de aprendizaje, podríamos establecer como criterios de evaluación: la claridad de los enunciados, el uso de información complementaria, la presentación gráfica... o bien: la vinculación con los objetivos del material, la actualidad de las actividades, la diversidad...
La formulación de los criterios de evaluación
En el ejemplo anterior hemos señalado como criterios de evaluación lo que podría ser el título o identificador de cada uno de los criterios, pero el criterio consiste en la descripción extensiva de aquellas características que pretendemos observar como una señal de garantía. Ésta podría ser la descripción de un criterio:
Claridad de los enunciados: El enunciado de una actividad de aprendizaje ha de dar a entender al estudiante aquello que esperamos que realicen. Le ha de permitir tener una idea clara de aquello que debe conseguir independientemente de si dispone a priori o domina más o menos los conocimientos y las habilidades que tendrá que poner en juego en el momento de realizar la actividad.
Pero podemos comprobar que aquello que evaluaremos será sensiblemente diferente si planteamos el criterio de esta manera:
Claridad de los enunciados: El lenguaje utilizado en los enunciados de las actividades de aprendizaje ha de ser sencillo y evitar el uso de tecnicismos a excepción de aquellos que se han ido trabajando en el desarrollo de la acción formativa.
Probablemente la forma en que algunos identificaréis el segundo ejemplo o el nombre que le daréis al criterio sería diferente, pero por mucho que intentásemos afinar enunciando los criterios siempre hay un margen de variabilidad que depende de la interpretación de quien formula y quien atiende al criterio. De aquí la importancia que los criterios de evaluación estén bien formulados.
6
La cantidad de criterios de evaluación
Por otro lado podríamos pensar que para un objeto de evaluación determinado hay unos criterios o unas características a analizar y no otras, o al menos que hay una serie de principios básicos que no se pueden olvidar. Esto no será así en la mayoría de las ocasiones.
Los aspectos a evaluar son siempre tan extensos que quien planifica la evaluación hace una priorización de aquello que se considera más relevante o que puede contribuir a mejorar y a determinar el grado de calidad de las posibilidades de mejora del objeto evaluado.
La determinación de los criterios de evaluación tiene una vertiente necesariamente subjetiva y variará en función de los responsables de su definición.
La evaluación educativa en general, lejos de responder a fórmulas exactas, es un ejercicio de coherencia, de análisis y de búsqueda de vías de mejora por parte de los responsables de una acción formativa o de aquellas a quien se ha encargado explícitamente su evaluación.
Los criterios de evaluación orientarán los ámbitos y las posibles líneas de mejora de la acción formativa. Parecería coherente pensar que los criterios de evaluación han de coincidir con aquello que nos hemos propuesto como finalidades o como propósitos en el diseño de la acción formativa.
La observación de estos criterios, a través de indicadores de calidad, nos permitirá ver hasta qué punto se corresponde la realidad con aquello que pretendíamos que fuera y con el efecto que esperábamos que produjeran los diferentes elementos implicados.
Los criterios de evaluación establecen los ámbitos y las líneas de mejora del objeto de evaluación sobre los cuales trabajaremos.
El instrumento de evaluación.
Una vez identificado el objeto de evaluación y concretados los aspectos a observar, el proceso de evaluación implicará las siguientes fases:
• Recogida de información o datos • Análisis e interpretación de la información o de los datos • Valoración de los resultados • Toma de decisiones de mejora
Para hacer efectivas estas fases tendremos que utilizar uno o diversos instrumentos de evaluación. En algunos casos podemos utilizar instrumentos estandarizados adecuados al objeto de evaluación, pero en la mayoría de las ocasiones habrá que diseñar y desarrollar estos instrumentos.
7
El hecho de hablar de información o de datos es para evitar la tendencia a asociar el término datos con instrumentos y sistemas de evaluación cuantitativos. También la evaluación cualitativa precisa de la recogida y el análisis de la información y de datos sobre el objeto de evaluación.
Habitualmente los instrumentos de evaluación se centran en la fase de recogida de información o datos, ya que se entiende que quien hará uso de esta información ya se ocupará de su interpretación, valoración y toma de decisiones. Pero esto no siempre es así y la única cosa que conseguimos es desvirtuar el proceso de evaluación y limitar sus posibilidades como un elemento de mejora de la calidad.
A menudo los procesos de evaluación se reducen, de forma inadecuada, a un proceso de recogida de información.
Para evitar este hecho, es interesante que los instrumentos de evaluación contemplen las diferentes fases del proceso y ofrezcan claves para la interpretación de la información e incluso para la toma de decisiones. Obviamente las decisiones no pueden ser estándares y no pueden ser tomadas a priori, pero como mínimo es posible recordar al evaluador el uso que puede o tendría que hacer de la información recogida.
Los instrumentos de evaluación nos ayudan a observar y a analizar el objeto de evaluación en los términos establecidos.
Es importante que al utilizar estos instrumentos seamos conscientes de que la evaluación es algo más que un proceso de recogida de información.
El evaluador.
La persona responsable de la evaluación no es siempre la misma que establece las líneas y la dinámica de evaluación. En algunos casos incluso puede ser interesante que diferentes personas evalúen un mismo objeto, a partir de los mismos criterios e instrumentos de evaluación.
La posición del evaluador respecto al objeto de evaluación puede ser determinante respecto a los resultados de la evaluación y a las decisiones de mejora que se puedan desprender.
Si hablamos de la evaluación de los estudiantes de una asignatura, normalmente entendemos que el evaluador ha de ser el responsable de la docencia de la misma, pero esto no es necesariamente así. Es posible pensar un sistema en el que cada alumno sea responsable de su evaluación, o bien un sistema en el que unos alumnos se conviertan en evaluadores del
8
resto, como también un sistema en el que un experto ajeno a la asignatura actúe como a evaluador.
Cada una de las opciones anteriores tiene sus ventajas y sus inconvenientes, pero en definitiva nos permite reflexionar sobre el hecho de que no es evidente quién tendrá que ser el evaluador.
El hecho que el evaluador sea más cercano y esté más implicado con el objeto de evaluación puede ser la garantía de que dispondrá de mayor información y más precisa de la que puedan ofrecer determinados instrumentos de evaluación, pero en ocasiones su posición respecto al objeto de evaluación puede suponer prejuicios que determinen la interpretación y valoración en un sentido u otro.
Contrariamente, un evaluador más distanciado del objeto de evaluación puede operar con información teóricamente más objetiva, no tan predeterminada, pero probablemente será más limitada.
La decisión de quien será el responsable de la evaluación es tan determinante respecto a los resultados como las previas respecto al qué y cómo evaluar. Tampoco no existe una fórmula matemática para a establecer quién ha de ser el responsable en cada caso. No obstante es necesario reflexionar sobre el hecho y explicar quién y por qué hemos creído oportuno que se ocupe de la evaluación.
La decisión sobre quien ha de ser el responsable del proceso de evaluación determinará en parte sus resultados.
Los resultados de la evaluación.
Los resultados de la evaluación no son, en general, los datos que se han obtenido a partir de los instrumentos de evaluación, ni necesariamente, las interpretaciones o las decisiones tomadas a partir de estos datos.
Los resultados de la evaluación es aquello que se difundirá como consecuencia de un proceso de evaluación, generalmente en forma de informe.
Los resultados de un proceso de evaluación no tienen porque ser los mismos para todos los destinatarios.
Los resultados de un proceso de evaluación del rendimiento de un grupo de alumnos dirigido a cada uno de ellos será el análisis y la valoración de su rendimiento individual.
El resultado que interesará al docente o a la institución responsable será el análisis global o la comparación con otras promociones o con datos públicos del sector, por ejemplo.
Cuando diseñamos el sistema de evaluación tenemos que pensar en los resultados que esperamos conseguir, en la forma de presentarlos y en los destinatarios de estos resultados. Al hacerlo habría que considerar los siguientes principios:
9
• Todas las personas implicadas en un proceso de evaluación han de recibir resultados de esta evaluación de la manera más ágil y rápida posible. • Ofrecer información diversa a los diferentes agentes no implica, y no ha de ser en ningún caso, falsear los resultados de la evaluación.
• La diversificación de los resultados tiene como objetivo hacer útil la evaluación y por tanto ofrecer a cada agente la información que le ha de ser útil para la toma de decisiones o bien las decisiones ya tomadas que le afectan de forma directa.
El diseño de una evaluación implica definir los tipos de resultados, los destinatarios y la forma de presentación.
Uso para la mejora.
La cultura de evaluación y el rol de evaluadores y evaluados no cambiará hasta que no hagamos patente la verdadera finalidad de la evaluación que implica la mejora de la calidad de los procesos de enseñanza y aprendizaje.
Este cambio cultural implica aspectos como evitar los "tics" por parte de los evaluadores de convertir el proceso de evaluación en una prueba de obstáculos para ver dónde puedo hacer fallar o encontrar carencias en el objeto de evaluación. La detección de carencias sólo tiene sentido en tanto que elemento determinante de la calidad de los aprendizajes.
Todos los agentes implicados en una acción formativa han de sentir como necesario un proceso de evaluación y aplicar los resultados a la mejora de su papel dentro de la acción formativa. El hecho que los docentes entiendan como importante la evaluación de los alumnos y de los materiales, pero no la de la docencia, o que los alumnos reclamen antes la evaluación del programa que una evaluación de calidad de su rendimiento son indicadores que sitúan al evaluador en una situación de dominio que a nadie molesta ocupar y al evaluado en una situación débil o como mínimo tensa.
Entender la evaluación como a elemento de mejora implica ser consciente que siempre es posible detectar carencias en una acción formativa y que hace falta realizar tantos esfuerzos como sea posible para solventarlas.
En ocasiones, podemos no estar a tiempo para mejorar determinados hechos en una acción formativa concreta, pera incluso en estos casos los resultados de la evaluación han de permitir que se produzca una mejora en acciones formativas futuras.
El rechazo ante procesos de evaluación a veces es fruto del temor que genera la posibilidad de no conseguir un nivel adecuado en aquellas evaluaciones de carácter sumativo que conducen a una acreditación determinada (certificado de garantía de un material, adquisición de aprendizajes, título, etc.). Pero incluso en estos casos hace falta entender el resultado de la evaluación como una toma de decisiones que garantiza la calidad de la acción formativa, ya que ésta no tendría ninguna credibilidad si no se realizase un esfuerzo para determinar quién o qué es merecedor del certificado y quién o qué no lo es.
10
Un proceso de evaluación ha de conducir siempre a la toma de decisiones de mejora respecto al objeto de la evaluación.
De la comprobación de aprendizajes al sistema de evaluación
El plan de evaluación.
Los grados y niveles de responsabilidad respecto a una acción formativa pueden ser muy diversos. Cuando realicemos el diseño de un curso lo podemos hacer como trabajadores de una empresa que se dedica exclusivamente a esta función, como docentes que queremos incorporar un curso a nuestras tareas cotidianas, o como responsables de una institución en la que queremos desarrollar nuevas acciones formativas.
Sea cual sea nuestro grado de responsabilidad respecto a la acción formativa siempre seremos como mínimo responsables de la garantía de la calidad de la parte que nos corresponda, para lo cual tendremos que diseñar un plan de evaluación en relación a este elemento.
El plan de evaluación recoge todas las acciones de evaluación que se prevén realizar en relación a una acción formativa concreta y durante un tiempo determinado. Si nuestro papel en la acción formativa comprende varias responsabilidades es adecuado planificarlas de forma conjunta en el marco del diseño del curso.
En cualquier caso, la definición del plan de evaluación consistirá en el listado de las diferentes acciones de evaluación que consideremos adecuadas o necesarias, detalladas en fichas como la siguiente:
Objeto de evaluación
Responsable
Criterios
Instrumentos
Evaluador
Calendario
Resultados
Estrategia de difusión
Comentarios
11
El plan de evaluación ha de ser algo posibilista y conducir a la mejora de la calidad de la acción formativa. Cuando nos enfrentemos al diseño de un curso nos puede parecer que la definición de un extenso plan de evaluación ofrecerá una imagen de calidad del mismo. Esto sólo será cierto cuando el plan resulte creíble y cuando los responsables de la acción formativa puedan entender la relación entre el costo que supone llevar a cabo cada acción de evaluación y los efectos en la mejora de la calidad de la acción formativa que se puede desprender.
Un buen plan de evaluación es aquel que determina mejor qué conviene evaluar y qué mejoras se pueden derivar.
La evaluación de programas.
Dentro de este nombre genérico englobamos la evaluación de todo lo que supone la planificación de una acción docente. Podríamos hablar del programa de un curso en el sentido más clásico, concebido como la base fundamental de un curso, de una guía de aprendizaje, de un plan de trabajo, etc.
Hay modelos que consideran el desarrollo de acciones docentes como un proceso lineal o sistemático constituido por fases independientes, en las cuales la evaluación es una fase que se aplica cuando ya se ha desarrollado un curso, con el objetivo de valorarlo y ver si se ajusta al diseño inicial.
En otros modelos no tan lineales se añade el factor de revisión continua y actualización del curso con la creación de productos. Se utiliza una metodología de trabajo que permite revisar de forma permanente las especificaciones del programa y contrastar los objetivos con el desarrollo real.
En general, podemos diferenciar dos tipos de evaluación: • Evaluación durante el proceso de creación.
• Evaluación después de la implementación.
La evaluación permite valorar que el producto final se ajusta al producto que se había previsto, lo que hemos diseñado. En los primeros momentos citados esta fase era independiente y se tenía que hacer cuando ya se había implementado el curso. Hoy en día se considera que es un aspecto más del proceso de desarrollo.
Recordemos las etapas del desarrollo de un diseño formativo y cómo la evaluación se aplica en las diferentes fases:
12
La evaluación del curso y de los materiales asociados que se elaboran es necesaria para comprobar que el producto se ajusta a los objetivos planteados y también pera mejorar su calidad.
El hecho de que sean tantos los aspectos a evaluar convierte la evaluación de programas en la más olvidada.
Es en esta línea que conviene concretar el objeto de evaluación e ir abordando aspectos susceptibles de mejora en diferentes ediciones del curso o la acción formativa. No obstante, para que esto sea posible se han de dar dos condiciones fundamentales:
• Concebir un curso abierto y susceptible de modificaciones. • Disponer de los recursos que permitan la actualización constante del mismo.
Otro hecho que en ocasiones bloquea la evaluación de programas, es el temor a detectar carencias combinado con la imposibilidad de promover mejoras debido a una ausencia de recursos para a este fin.
Los responsables del diseño del curso seremos responsables de su evaluación desde la perspectiva de la evaluación de programas.
La solución está en identificar claramente algunos aspectos concretos que se puedan alcanzar y que puedan conducir a decisiones de mejora del curso.
13
Se pueden diferenciar dos tipos de evaluación:
• Una evaluación interna, que hacen los miembros que integran el equipo que elabora el proyecto, cuando concluye una primera edición del programa.
• Una evaluación externa, que hacen agentes externos al proyecto y en algunos casos futuros usuarios cuando ya está remodelado el curso.
La evaluación interna
• Tiene la finalidad de mejorar el proceso de desarrollo y garantizar la calidad respecto a todas las acciones que se han llevado a cabo. Se evalúa cada uno de los elementos definidos (revisión de los objetivos, de los contenidos, de las actividades y de los recursos previstos...) De esta forma, los miembros del equipo tienen que poder valorar el programa y sugerir modificaciones.
• El objetivo es asegurar que el programa se ajuste a los lineamientos definidos para su diseño y que cumpla las características pedagógicas necesarias.
• Está orientada a verificar el diseño del programa, a localizar y corregir los posibles defectos o errores de los materiales, y a mejorar su adecuación pedagógica.
Cómo se hace la evaluación
Se pueden utilizar plantillas o parrillas de observación y prueba que relacionen los aspectos del programa que determinan su calidad y que tienen que prever los aspectos administrativos y pedagógicos.
• Los aspectos administrativos hacen posible valorar los diferentes elementos organizativos y de infraestructura que permiten que el programa se lleve a cabo: coordinación docente, procedimientos de entrega de calificaciones, previsión de aulas, equipo de cómputo, reproducción de materiales, etc.
• Los aspectos pedagógicos hacen posible valorar el grado de adecuación del programa y de los materiales; tienen que ver con su eficacia como medio para que los estudiantes adquieran los aprendizajes: objetivos educativos, contenidos, actividades, secuencias, tiempos...
Metodología de evaluación
Respecto a la metodología para la evaluación del equipo que ha participado en el diseño y la elaboración del programa, se pueden diferenciar tres etapas:
• Cada miembro del equipo que imparte el curso recoge en una hoja observaciones sobre el mismo y las sugerencias para mejorarlo. En este punto los diseñadores también verifican si el programa responde totalmente a los lineamientos que se han dado.
• Después, también de forma individual, se tienen que revisar todos los aspectos de la plantilla de evaluación.
• Los evaluadores envían las hojas de observación al coordinador del proyecto y se realizan reuniones de todo el equipo para discutir los resultados de la evaluación.
• A partir de esta información se elabora un documento con información sobre los cambios de diseño, de material, etc. que se tienen que hacer.
14
Evaluación externa
• Se puede hacer una evaluación del programa que puede ser más o menos profunda.
• El objetivo es recoger las opiniones de posibles destinatarios del producto, o de expertos, sobre la calidad y la funcionalidad didáctica y también sugerencias sobre posibles mejoras.
• Los usuarios que evalúen el programa tienen que tener los conocimientos previos necesarios y las mismas características de los destinatarios potenciales, aunque también conviene que sean variados, con historias diferentes, para que la muestra sea representativa de los futuros usuarios.
• Lo ideal es que los usuarios evalúen el programa en función de situaciones educativas concretas y, siempre que sea posible, integrado en un desarrollo curricular.
Instrumentos de evaluación
Los instrumentos para la evaluación tienen que ser básicamente cuestionarios que los evaluadores cumplimentarán con sus valoraciones del programa o material.
Estos cuestionarios se tienen que elaborar a partir de los aspectos de la plantilla de evaluación interna, pero los evaluadores tienen que concretar y estructurar mucho más los apartados y se tienen que centrar más en aspectos subjetivos de tipo pedagógico y funcional.
Los datos que se obtienen no se deben utilizar para hacer estimaciones cuantitativas con un grado estadístico de confianza, sino que tienen que servir para determinar aspectos cualitativos y de tendencias.
• La evaluación del programa puede ser interna o externa. • Evaluación sobre aspectos...
• administrativos • pedagógicos
• Con plantillas y cuestionarios.
La evaluación de la docencia.
La evaluación de la docencia es una parte importante de la evaluación del programa docente, ya que las virtudes y las debilidades de éste serán potenciadas o minimizadas en función de la acción docente que acompaña al curso.
La evaluación de la docencia desde esta perspectiva nos puede ser útil para prever o constatar los usos que realizan los docentes para poder:
• reforzar algunos elementos del curso que consideramos relevantes y que algunos docentes pueden hacer pasar desapercibidos,
15
• identificar aspectos del curso que han de pasar a un plan secundario, ya que la acción docente es más efectiva, • prever diferentes modalidades del programa y comprobar que su estructura resulta adecuada para todos ellos, o modificarla si es necesario, • comprobar qué herramientas o ayudas puede necesitar el docente para impartir el curso de forma adecuada. • ...
En definitiva, como diseñadores del programa, es necesario que fijemos nuestra atención en cómo el docente lo imparte y potencia los aprendizajes previstos.
Las virtudes y las carencias de un programa serán potenciadas o minimizadas en función de la acción docente que acompaña al curso.
La evaluación de los estudiantes.
La evaluación de los aprendizajes que consiguen los estudiantes de un curso corresponde en primera instancia al responsable de la docencia.
No obstante en el diseño del curso podemos haber considerado interesante, por ejemplo, realizar una avaluación de conocimientos previos, incluir un sistema de autoevaluación de los aprendizajes(*) o proponer que determinadas actividades lleguen a ser el instrumento para la evaluación de los aprendizajes por parte del docente.
Cualquiera de las opciones comentadas es correcta siempre y cuando se explicite en el plan de evaluación cómo han estado concebidas las acciones de evaluación que se hayan considerado.
El error más frecuente consiste en confundir el todo por las partes e incluir actividades de evaluación sin que se haya concebido una acción de evaluación y sin una finalidad determinada.
Los ejemplos más claros de este error los constituyen las actividades de evaluación inicial y las propuestas de autoevaluación respecto a las cuales no se establece ningún criterio e indicación de lo que hace falta hacer en función de los resultados que se desprenda.
¿Cuál es entonces su función? Probablemente se espera que sea el docente o el propio usuario quien haga la interpretación y tome las decisiones que crea conveniente. No obstante (*) Es importante no confundir las propuestas de autoevaluación con actividades de aprendizaje autocorrectivas.
16
estas interpretaciones pueden inducir fácilmente a error si previamente no ha habido un verdadero trabajo de reflexión y definición de aquello que queríamos observar y las decisiones de mejora a las que pretendíamos llegar.
Con todo esto no se trata de construir un curso sobrecargado en el que la guía del profesor sea más extensa y compleja que el propio material. La cuestión es que en el momento de diseñar el curso haya una verdadera reflexión sobre aquello que se incluirá, su finalidad y su utilidad. Si no lo hacemos así simplemente contribuiremos a que la evaluación sea entendida como una prueba de obstáculos en la que se trata de probar suerte.
El objeto de evaluación, los criterios y las claves para la interpretación de resultados y toma de decisiones tendrían que estar a la disposición tanto de los docentes como de los alumnos.
Todo elemento de evaluación de los estudiantes ha de responder a una acción de evaluación y se ha de dar a conocer al docente y al alumno.
Evaluación del programa: criterios e indicadores de calidad
¿Cómo podemos valorar un programa docente?
Todos los sistemas de evaluación que se proponen actualmente se basan en la determinación de unos criterios de calidad del programa y en la valoración del grado de adecuación de éste respecto a una serie de indicadores que nos dan información concreta sobre la calidad del mismo respecto a cada criterio.
La lista de características que se pueden evaluar puede ser demasiado extensa, por lo cual cuando definimos los aspectos en que nos fijaremos al evaluar un programa hemos de procurar seleccionar los que son más relevantes para podernos hacer una idea clara de la calidad del mismo.
Una vez establecidas las características clave o los indicadores de calidad, se han de definir las ventajas o los inconvenientes del curso o programa respecto a cada indicador y el tipo de situaciones en que es importante considerar cada uno de estos indicadores. Es preciso tener en cuenta que no será fácil encontrar un curso óptimo respecto a todos los indicadores y que no todos los indicadores tienen el mismo valor.
A partir de diferentes listados de criterios y indicadores, se pueden agrupar en tres grandes bloques:
• Criterios administrativos • Criterios pedagógicos • Criterios de contenido
Criterios administrativos
Es importante considerar los diversos aspectos organizativos, institucionales y de infraestructura que hacen posible o pueden dificultar el desarrollo adecuado del curso.
17
En este sentido, conviene diferenciar entre los clientes y los usuarios del curso. Entendemos por cliente la institución o entidad que ha encargado el curso y que, normalmente, tiene definidos una serie de objetivos que se propone alcanzar con él, enmarcados en un contexto particular de filosofía educativa. Los usuarios son los alumnos que deberán cursar el programa. Deberemos medir la satisfacción de ambos con los objetivos alcanzados en el curso.
Criterios pedagógicos
Lo principal de un programa docente es su finalidad educativa, el aprendizaje que puede hacer el usuario de unos contenidos y unas habilidades determinadas. El análisis desde la perspectiva pedagógica debe valorar la capacidad del programa para que el usuario aprenda. La experiencia respecto a la evaluación de programas y materiales ha sido un referente para establecer los indicadores que hay que tener en cuenta.
Criterios de contenido
Los criterios e indicadores de contenido hacen referencia al tratamiento de los temas que incluye un programa específico. Este bloque de criterios implica que los contenidos se presenten desde la perspectiva de la disciplina a que pertenecen.
Un programa puede ser perfecto desde el punto de vista pedagógico pero puede ser pobre respecto a los contenidos, lo cual querría decir que los aprendizajes serían insuficientes o que se podría haber hecho una concepción errónea. Por esta razón, es muy importante considerar el tratamiento de los contenidos como un bloque específico.
Podemos valorar un curso a partir de la valoración de diferentes características. Una labor clave para hacer una buena evaluación es definir los criterios de evaluación y los indicadores que se tendrán en cuenta.
Criterios de evaluación de un programa docente.
Uno de los problemas básicos de cualquier proceso de evaluación es el establecimiento de los criterios que se tienen que emplear.
Aunque cada programa debe formular unos criterios propios, pueden establecerse algunos como referencia general: la utilidad, la viabilidad, la formalidad, la exactitud (precisión y validez), la contextualización y la diversidad en cuanto a la valoración de los efectos (se pueden valorar desde la perspectiva de los expertos, a la de los responsables de los materiales y la de los usuarios).
A continuación presentamos tres propuestas diversas de selección y organización de los criterios de evaluación. En algunos casos la finalidad del programa determinará que un listado de criterios sea más o menos adecuado para su evaluación; en otros casos dependerá de las posibilidades y los recursos para la realización de la evaluación; en otros, los objetivos de la evaluación serán el eje organizador de los criterios a utilizar (no es lo mismo la evaluación que realiza el diseñador del programa, por ejemplo, que la que realizaríamos como posibles profesores o usuarios).
18
En todos los casos es preciso disponer de una visión amplia de los criterios e indicadores de evaluación para poder realizar en cada momento la selección de los más adecuados a nuestras necesidades de evaluación.
Establecer los criterios para el proceso de evaluación es uno de los aspectos más importantes cuando se fijan los parámetros que se tendrán que tener en cuenta en el
momento de evaluar un programa docente.
Destacamos la diversidad de criterios que proponen los diferentes autores observando que en la mayor parte de los casos su descripción no llega a la concreción de indicadores para definirlos de una manera operativa.
Propuesta de criterios e indicadores generales
CRITERIOS INDICADORES Pertinencia: adecuación de un programa a la política de formación y al contexto de aplicación.
Nivel de coherencia: relación entre los objetivos asignados y los objetivos propuestos.
Actualización: adecuación de los objetivos del programa y las necesidades reales (sociales e individuales).
Relación entre los objetivos propuestos y las necesidades detectadas.
Objetividad: adecuación de las leyes y los objetivos científicos.
Relación entre los objetivos asignados y los contenidos (selección y secuenciación de contenidos).
Aplicabilidad: posibilidad de poner en práctica los objetivos propuestos.
Relación entre el programa y los recursos personales y materiales disponibles.
Suficiencia: grado en que un programa satisface las necesidades detectadas.
Nivel de exhaustividad: relación entre los objetivos asignados y las necesidades detectadas.
Eficacia: nivel de consecución de los objetivos asignados.
Relación entre los objetivos asignados y los objetivos alcanzados.
Eficiencia: cantidad de recursos humanos, materiales y funcionales que se invierten.
Relación entre los objetivos alcanzados y los recursos invertidos.
Comprensividad: grado de optimización alcanzado.
Relación entre el nivel de entrada y el nivel de salida de un programa.
Relevancia: grado de importancia del programa para cubrir necesidades individuales y sociales.
Relación entre los objetivos propuestos y las necesidades sociales e individuales.
19
Criterios de evaluación del Educational Software Consortium
CRITERIOS INDICADORES Presentación correcta ¿Hay errores, de forma o de fondo, en los
contenidos del programa? Presentación del contenido ¿Está el contenido estructurado de manera
que favorezca el aprendizaje? Utilización de la tecnología ¿Explota el programa al máximo las
posibilidades tecnológicas? Congruencia con el currículum ¿Está el contenido vinculado al currículum? Interacción ¿El programa estimula la interacción entre
profesores y alumnos? Secuenciación de los contenidos ¿Presenta el programa diferentes niveles de
dificultad con niveles intermedios entre ellos? Retroalimentación ¿Están previstos mecanismos de
retroalimentación efectivos? Objetivos ¿Están los objetivos especificados con
suficiente claridad? Motivación ¿Motiva el programa al estudiante? Adaptación ¿Se adapta el programa a las necesidades de
instrucción individuales? Materiales ¿Los materiales se utilizan de manera que
estimulen y apoyen el aprendizaje?
20
Criterios de evaluación estratégica (Castellán, 1993)
CRITERIOS INDICADORES Aspectos pedagógicos ¿Están los objetivos suficientemente bien
articulados para el estudiante? ¿Se adecua el uso de la tecnología a los conceptos que hay que aprender? ¿Se utiliza la tecnología en el momento adecuado durante el curso? ¿Puede el estudiante utilizar la tecnología para obtener una impresión general de los contenidos, hacer un estudio detallado de éstos o hacer un repaso del material? ¿Facilita la teoría el aprendizaje cooperativo? ¿Fomenta el programa la exploración, la comprobación y la aplicación de las ideas y los conceptos? ¿Permite el programa hacer una autoevaluación adecuada de la comprensión? ¿Se pueden transferir las habilidades y los conceptos aprendidos más allá del contexto en que ha tenido lugar el aprendizaje?
Sustancialidad ¿Es el material de estudio el adecuado? ¿Es el aprendizaje del material realmente valioso para el estudiante?
Integración ¿Es fácil integrar el programa en el currículum?
Mejora cíclica ¿Se hace una evaluación continuada del programa?
Establecer los criterios para el proceso de evaluación es uno de los aspectos más importantes a la hora de fijar los parámetros que se deberán tener en cuenta al evaluar un programa docente.
Destacamos la diversidad de criterios que proponen los diferentes autores y, especialmente, la dificultad para definirlos de una manera operativa.
21
Principales indicadores de calidad de un programa docente.
Indicadores administrativos
Organización del curso
Contexto institucional
Infraestructura y logística
Satisfacción del cliente
Indicadores pedagógicos
Conocimientos previos del estudiante
Actualmente, todo el mundo reconoce el papel que tienen los aprendizajes previos en la adquisición de nuevos aprendizajes, como base sobre la cual el estudiante fundamenta y construye el propio conocimiento.
Esta evaluación inicial del sujeto puede ser útil para averiguar si al estudiante le faltan conocimientos que en el curso se prevé que ya se saben o bien si el curso le servirá para hacer un avance real en el aprendizaje. En el primer caso, se debería avisar al estudiante de que tiene que hacer un repaso de unos contenidos determinados; en el segundo caso, se tendría que dar mayor profundidad o ampliar los contenidos previstos. Si no se produce ninguna de estas dos situaciones, se supone que los conocimientos previos del estudiante son los adecuados para cursar el programa.
No tener en cuenta este criterio puede comportar que el usuario tenga la sensación de que no aprende (porque no está suficientemente preparado para responder o porque el nivel es inferior a sus conocimientos previos) y generar una desconfianza generalizada respecto al programa.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Descripción del perfil del estudiante: se ha de tener información sobre la edad de los usuarios, el nivel de conocimientos previos que se necesitan y otros aspectos que ayuden a definir al público al que se dirige el curso.
• Evaluación inicial: idealmente se tendría que prever una evaluación inicial de los conocimientos y las habilidades del usuario respecto al tema de que trata.
• Capacidad de respuesta de la evaluación inicial: el curso se tiene que poder adaptar al nivel correspondiente al resultado de la evaluación inicial.
Objetivos de aprendizaje
La información sobre los objetivos de aprendizaje del curso es básica tanto para el profesor como para los propios estudiantes. Al profesor le da información sobre los objetivos que han de alcanzar los estudiantes mediante el curso. A los estudiantes les debe informar de lo que pueden llegar a alcanzar, lo cual les ayuda a estructurar mejor los aprendizajes y a prestar atención a los aspectos esenciales de lo que trabajan. No hay nada menos productivo que creer que se hace un trabajo inútil; por el contrario, el hecho de saber a dónde conduce un trabajo estimula al estudiante a lo largo del proceso de aprendizaje.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
22
• Información sobre los objetivos de aprendizaje: el curso debe informar sobre los objetivos didácticos del curso y sobre el de cada uno de los capítulos o apartados, de manera que el estudiante sepa en cada momento qué se espera que aprenda al trabajarlos.
• Adecuación del programa a los objetivos planteados: a veces los objetivos no se corresponden con el contenido del programa. Si lo que se pretende es alcanzar unas habilidades y unas actitudes determinadas, será necesario encontrar actividades que permitan desarrollarlas.
Claridad de la información
El lenguaje y la adecuación de la información seleccionada y la del medio a través del cual se transmite son aspectos clave para que haya una interacción fluida entre el estudiante y el programa. No se trata solamente de recoger un conjunto de informaciones y actividades sobre un tema, sino que éstas se han de adecuar al nivel previo del usuario y han de ser realmente efectivas para alcanzar los objetivos previstos.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Claridad de las instrucciones: el estudiante siempre tiene que poder entender con facilidad lo que se le pide.
• Adecuación del medio: el soporte en que se presenta la información es clave para que pueda recibirse adecuadamente. La combinación de texto, audio e imágenes permite captar con facilidad la atención del usuario; pero si éste recibe demasiada información a la vez o se podría ahorrar una parte, el nivel de atención puede disminuir. • Relación entre la información y los objetivos de aprendizaje: los objetivos también han de estar presentes a lo largo de todo el curso y el estudiante ha de ser consciente de que la información contribuye a alcanzar los objetivos.
Flexibilidad
Mientras se está desarrollando el curso, interesa quizás repasar algún aspecto que ya se ha tratado o bien que se pueda cambiar el orden de los temas porque los que se presentan en primer lugar no nos interesan tanto como los siguientes. La posibilidad de modificar el itinerario de aprendizaje permite adecuarlo a las necesidades específicas de cada grupo de estudiantes.
El hecho de tener que seguir forzosamente una secuencia de aprendizajes que no se ajusta a las propias necesidades desmotiva y disminuye la capacidad de atención, incluso cuando se trabajan los aspectos que nos interesan más. La selección de un itinerario de aprendizaje adecuado implica que haya un esquema o una guía del contenido total del programa y que se especifiquen las maneras de trabajar que existen.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Itinerarios de aprendizaje abiertos: se puede ofrecer la posibilidad de diseñar un itinerario propio según los objetivos y los contenidos que se trabajarán en cada apartado.
• Ayuda en la selección de itinerarios: poder escoger el propio itinerario de aprendizaje presenta el inconveniente de que un estudiante no preste atención a elementos básicos o que seleccione una orden incoherente respecto a los temas que se han propuesto. Por ello es interesante que exista una ayuda o guía para seleccionar el itinerario más adecuado.
Interacción
23
• Cantidad de información: una secuencia demasiado larga de texto es difícil de asimilar. La información se ha de combinar con actividades de aprendizaje o preguntas que permitan al estudiante reflexionar sobre los contenidos.
• Preguntas: cuando se plantean preguntas al estudiante, es preciso hacer un esfuerzo para aclararle qué se espera que responda. Las preguntas no han de ser ambiguas, se deben formular de una manera suficientemente completa. • Retroalimentación: la información que se da, según las respuestas del estudiante, siempre ha de ser constructiva y motivadora.
Evaluación del proceso
No sirve de nada avanzar en los contenidos si no se va llegando a los aprendizajes. Por este motivo es importante que el estudiante pueda ir comprobando y autoevaluando el propio proceso de aprendizaje. Algunas actividades de evaluación permiten comprobar la adquisición de los aprendizajes de cada fase o bloque, de manera que se puede decidir continuar adelante o bien repasar aquello que no se ha acabado de asimilar.
Cabe remarcar que en este punto hacemos referencia a una evaluación durante el proceso de aprendizaje que ayude a mejorarlo, no a una evaluación final, que será el motivo de atención del criterio siguiente.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Evaluación del proceso de aprendizaje: las actividades de evaluación sobre el proceso de aprendizaje permiten que el estudiante valore las propias dificultades y carencias respecto a los aprendizajes propuestos y que haga un nuevo esfuerzo para superarlas.
• Actividades de refuerzo: cuando el estudiante detecta que tiene dificultades en el aprendizaje, puede repetir las actividades. No obstante, motiva más, porque evita la monotonía, poder hacer nuevas actividades que aborden los aspectos tratados desde una perspectiva diferente. • Consideración del progreso: cuando el estudiante detecta que el grado de adquisición de los aprendizajes es suficiente, ha de poder considerar la posibilidad de aumentar el grado de dificultad de los aprendizajes posteriores, de manera que éstos continúen siendo un objetivo de aprendizaje suficientemente interesante.
Evaluación de los resultados
Además de la evaluación del proceso, es interesante hacer una evaluación final, para que el estudiante tenga una idea de la situación en que está respecto a los aprendizajes propuestos. Esta evaluación le permite ser consciente del propio progreso y le estimula de cara a nuevos aprendizajes, de la misma manera que le avisa si necesita reforzar el trabajo cuando los resultados no son adecuados.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Evaluación final: además de la evaluación de los aprendizajes específicos de cada bloque, es conveniente hacer una evaluación final que permita valorar si el estudiante es capaz de relacionar los aprendizajes de cada una de las partes y determinar el nivel que ha alcanzado respecto a los objetivos propuestos.
• Actividades de ampliación: los mejores aprendizajes siempre dejan al estudiante con el deseo de aprender más. Por esta razón, a un usuario que ha aprendido y ha alcanzado un
24
buen nivel respecto al tema trabajado le interesaría recibir información o propuestas de cómo puede continuar aprendiendo sobre el tema tratado. • Propuesta de nuevas actividades de refuerzo: cuando el resultado de la evaluación final no es suficientemente satisfactorio, también es interesante hacerlo saber al estudiante y estimularlo para que continúe trabajando sobre el tema, tanto a partir de las propuestas del propio programa como mediante otros recursos.
Tiempo para recibir la información
El nivel de atención del estudiante no es siempre el mismo, es preciso tener en cuenta el tiempo que necesitará para recibir la información.
El tiempo que cada usuario necesita para hacer un aprendizaje es diferente; por esto, es preciso que nos aseguremos de que el usuario ha recibido la información.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Previsión de tiempo: se ha de prever el tiempo aproximado que puede tardar el estudiante en hacer las actividades propuestas en cada apartado del programa, de manera que se pueda organizar el tiempo de estudio. Está claro que cada usuario tendrá un ritmo diferente, pero la experiencia permitirá que cada uno pueda calcular el propio tiempo en relación con la previsión previa.
• Control del tiempo: el estudiante debe poder controlar su progreso y pararse el tiempo necesario para leer un cuadro de texto, recibir una información, realizar una actividad, etc. más allá del tiempo de clase.
Diversidad de los trabajos propuestos
La variedad en los trabajos que se proponen estimula el aprendizaje, ya que invita al estudiante a prestar más atención a lo que se le ofrece. Se trata de encontrar la estabilidad entre la claridad de la información y la variedad de las actividades.
Respecto a este criterio, hay que tener en cuenta el siguiente indicador:
• Variedad: la variedad de los trabajos y las presentaciones ayuda al estudiante a prestar más atención. En cambio, la rutina de los trabajos influye negativamente en el proceso de aprendizaje.
Indicadores de contenidos
Estructura de los contenidos
Este criterio hace referencia a la organización de los contenidos en relación con la lógica propia de la disciplina a que pertenecen. Se trata de comprobar que la secuencia de contenidos establecida no comporta que pueda haber errores de concepción respecto a la materia de que trata y que las relaciones entre los contenidos de cada parte sean claras.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
25
• Estructura: se trata de comprobar que la fragmentación de los contenidos en capítulos o apartados es correcta o acertada para facilitar una asimilación progresiva.
• Corrección: los contenidos no han de tener errores.
• Ausencia de ambigüedades: las dificultades para asimilar los contenidos no han de comportar que haya errores de concepción, de manera que el estudiante pueda pensar que ha entendido un concepto cuando en realidad ha hecho una interpretación incorrecta.
Índice del material
El índice del material permite que el estudiante pueda saber en cada momento dónde se encuentra respecto al conjunto del contenido del programa. No sólo se trata de que haya un índice, sino también de que éste informe con la máxima precisión posible sobre los contenidos de los materiales. Un índice demasiado general puede llegar a no decir nada sobre el contenido real del material.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Inclusión de un índice: los índices, los sumarios o los mapas conceptuales para ayudar al estudiante a situarse respecto al contenido que se trabaja y las actividades que se proponen son unos elementos que añaden calidad al material.
• Claridad del índice: el índice no debe ser demasiado genérico, el usuario se ha de poder hacer una idea clara de lo que encontrará en cada uno de los apartados del programa.
Interés del material
El interés de los contenidos de un material se mide por la capacidad de sorprender y ofrecer una información nueva al usuario, y por la importancia que tienen dentro de la disciplina a la que pertenecen. Se trata de evitar, por un lado, que un material incluya contenidos evidentes para la mayor parte de la población, es decir, ha de ir un poco más allá, y, por otro, que se convierta en un anecdotario poco profundo sobre una materia determinada.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Importancia: es preciso valorar que los contenidos sean relevantes y que ocupen un espacio reconocido dentro de la disciplina a que pertenecen.
• Capacidad de sorprender: para captar el interés del estudiante, a veces no basta con explicar cosas nuevas, sino que es necesario hacerlo de manera que al receptor le resulte sorprendente y atractivo, que se mantenga el interés por todo aquello que se le va ofreciendo.
Actualidad del material
Es bueno que un material didáctico se convierta en un soporte para el aprendizaje del estudiante, pero es necesario que seamos conscientes de que no se le puede ofrecer todo sobre una materia determinada, entre otras cosas porque las materias evolucionan.
La información sobre el momento a que pertenecen las informaciones y sobre las posibilidades de consultar informaciones más actuales invita al estudiante a la investigación y le mantiene en una situación constante de aprendizaje, de manera que no pueda tener una idea estancada (a veces errónea por poco actual) sobre los contenidos.
26
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Referencias: el conocimiento de las fuentes de información permite al estudiante profundizar en unos aspectos determinados y a la vez le informa del grado de actualidad de estos contenidos. El programa puede continuar siendo válido cuando los contenidos están desfasados, siempre que el usuario sea consciente de ello.
• Perdurabilidad: cuando un contenido se aborda desde una perspectiva abierta y se tiene conciencia de que las disciplinas evolucionan, se pueden ofrecer estrategias para contrastar la actualidad de la información con el mundo que nos rodea y con algunas fuentes de información que siempre están a nuestro alcance (prensa, centros y grupos de investigación...)
Respecto a cada uno de los criterios, hay algunas características específicas o indicadores que permitirán que la evaluación sea operativa.
Hay que tener en cuenta que cualquier lista de indicadores ha de ser abierta.
De una lista de indicadores se pueden extraer diferentes instrumentos de evaluación a partir de la reorganización por prioridades de éstos según los objetivos de la evaluación.
27
¿Hasta dónde llegar?
Cuando profundizamos en el mundo de la evaluación a menudo nos dejamos llevar por el apasionamiento de identificar aspectos mejorables y perder de vista el valor de aquello que tenemos.
La cultura de la evaluación y la constante predisposición a la evaluación y mejora no se contrapone al hecho de saber valorar las potencialidades de los elementos con los que estás trabajando.
Cualquier evaluación tiene que combinar la detección de posibilidades de mejora con la valoración de las potencialidades del objeto de evaluación.
Cuando recae bajo nuestra responsabilidad la evaluación y mejora de un programa, o de los elementos con que interactúa, con la finalidad de mejorarlo, nos podemos ver forzados a resaltar sus limitaciones y carencias.
Asimismo, la opinión de un externo respecto a un curso puede prestar especial atención a aspectos mejorables, pero si en la toma de decisiones no tenemos también en cuenta sus potencialidades fácilmente podemos estropear alguna de sus potencialidades al intentar solventar una carencia.
Por ejemplo, para corregir la carencia de acceso a fuentes documentales en un material podemos romper la estructura ágil y simple que se perseguía en su desarrollo inicial.
Probablemente sería un error dar por terminado completamente el programa de un curso y obviar sus posibilidades de desarrollo y mejora; pero del mismo modo sería un error no dar por terminadas fases de desarrollo que nos permiten trabajar el curso con confianza y seguridad respecto a su capacidad de fomentar el aprendizaje.
Así como la selección de aquello que queremos evaluar y qué pensamos hacer con el resultado de la evaluación es una decisión muy subjetiva que recae en los responsables del diseño del curso, también lo es el hecho de dar por bueno aquello que se ha desarrollado hasta a un momento dado.
En función del grado de calidad esperado por nuestros clientes, el nivel de exigencia tendrá que ser más elevado. Esto no quiere decir que nos podamos conformar con un curso mediocre en aquellos ámbitos en los cuales no haya mucha exigencia, la búsqueda de la calidad
28
continúa siendo el propósito en todos los casos, pero es necesario que seamos conscientes de que no existen valores absolutos respecto a esta calidad.
El responsable de la calidad de un programa formativo tiene que ser capaz de fijar los límites adecuados al sistema de evaluación que permitan compaginar la garantía de calidad con la confianza en el producto resultante.
29