las consignas de pruebas escritas como herramienta de evaluación
TRANSCRIPT
Las consignas de pruebas escritas como herramienta de evaluación del desempeño docente14 de marzo de 2015
2
Jennifer Vinas-Forcade*Magister, Instituto Nacional de Evaluación Educativa (INEEd), [email protected] [email protected]
Cecilia Emery BiancoMagister, Instituto Nacional de Evaluación Educativa (INEEd), [email protected] [email protected]
PALABRAS CLAVE: pruebas escritas, complejidad, adaptación curricular, evaluaciónEJE TEMÁTICO: 2. Innovaciones en evaluación y medición del desempeño docente y directivo
ResumenReconociendo el rol clave de los docentes en la mejora de la calidad de la educación brindada por los sistemas educativos, principalmente en los procesos de enseñanza y aprendizaje, se propone el análisis de las consignas de pruebas escritas en la aproximación al desempeño docente y su evaluación. Se presenta la prueba escrita como herramienta que evidencia los contenidos y modos de evaluar privilegiados por el docente y se brinda una guía para su codificación y análisis. Se incluyen además los resultados de un estudio de estas características realizado por el INEEd en Uruguay (2013) y recomendaciones para su uso en evaluación del desempeño docente.
*Autor principal
INTRODUCCIÓN
Ante el desafío de mejorar la calidad de la educación brindada a los estudiantes Uruguay, así como los demás países de la región, reconoce el rol clave de los docentes en el sistema educativo, particularmente en los procesos de enseñanza y aprendizaje. La evaluación del desempeño docente busca, en este contexto, distinguir a aquellos cuyas prácticas contribu-yen en mayor medida a que los estudiantes logren los aprendizajes esperados. Se busca identificar, además, a los docentes que mayores apoyos necesitan para la mejora de su desempeño profesional.
La dificultad, sin embargo, radica en cómo aproximarse a las prácticas docentes y desarrollar sistemas de evaluación de desempeño que permitan esta adecuada diferenciación. Tradicionalmente esta evaluación es realizada por el director del centro educativo, valiéndose principalmente de datos de la actividad computada: asistencia, licencias, puntualidad, etc. Esto determina que se cuente con poca evidencia del desempeño real del docente en el día a día, a lo largo del año lectivo. También a nivel de sistema la evaluación docente se basa principalmente en aquello de lo que se tiene registro: la antigüedad en el cargo, la titulación y la certificación de capacitaciones a lo largo de la carrera, todo lo que acontece fuera del aula.
Incluso en los casos en que se cuenta con un evaluador externo, que visita al docente y observa su trabajo en el aula, los recursos humanos y económicos disponibles son muchas veces escasos, lo que conduce a que esta evaluación no
Las consignas de pruebas escritas como herramienta de evaluación del desempeño docente
3
pueda realizarse con la suficiente periodicidad.1 En el campo académico, la observación directa ha sido reemplazada en algunos estudios por filmación del trabajo en el aula. Esta modalidad requiere también contar con recursos humanos, económicos, técnicos y temporales suficientes, a la vez que puede presentar dificultades: resistencia del docente al regis-tro audiovisual de sus prácticas, leyes que requieran consentimiento escrito para el registro de la imagen ajena (particu-larmente de menores de edad).
Una vía complementaria a esta modalidad de evaluación es el análisis de las consignas de las pruebas y trabajos escritos que los docentes proponen a sus estudiantes a lo largo del año lectivo. Esta clase de evaluación requiere menor uso de recursos que las antes mencionadas, además de aprovechar los registros y archivos de pruebas disponibles2 en los centros educativos. En las siguientes páginas se sintetiza el modo en que, desde el INEEd, se utilizaron pruebas escritas para conocer las diferencias en los modos de evaluar a los estudiantes en educación primaria y media. Este instrumento posibilita una diferenciación entre modalidades e instrumentos de evaluación en el aula que puede utilizarse, en combi-nación con otros, como herramienta de evaluación del desempeño docente.
DESARROLLO
El estudio: incidencia de las prácticas de evaluación en el tránsito entre ciclos
La investigación realizada por un equipo técnico del INEEd3 a lo largo del año 2013, tuvo por objetivo principal la des-cripción de las prácticas de evaluación de aprendizajes en el aula y su papel en el tránsito entre ciclos educativos, es decir, en el pasaje del último año de educación primaria (sexto de escuela) al primer año de educación media en instituciones públicas urbanas de Uruguay.
Para ello se consultó a los principales actores involucrados: docentes y estudiantes de ambos ciclos. Los estudian-tes volcaron sus percepciones en una encuesta específica para cada grado, a la vez que intercambiaron perspectivas en grupos focales. Por su parte, los docentes proporcionaron al equipo las consignas de pruebas escritas aplicadas a sus estudiantes en los años 2012 y 2013, contextualizando estos instrumentos a través de una entrevista en profundidad y una breve encuesta.
Atendiendo al tema central de este congreso, a continuación se hace foco en el modo en que se trabajó con las pruebas escritas, y el uso que de ellas puede hacerse para la evaluación docente.
Antecedentes y marco teórico
Este análisis de pruebas escritas como modo de acercamiento a las prácticas docentes de evaluación y de enseñanza en el aula haya sus principales antecedentes en los estudios de Ravela y otros en diferentes países de la región (Ravela, 2009:49-89; Ravela, 2010; Ravela y otros, 2014:20-45),
Estudiar qué y cómo evalúan los docentes en el aula remite, inevitablemente, a un segundo problema: qué es lo que enseñan. Las propuestas de evaluación de aprendizajes que los docentes plantean a sus estudiantes constituyen una vía privilegiada para conocer sus enfoques de la enseñanza y los tipos de aprendizajes que promueven y valoran (IEE, 2014:4).
Estos estudios, así como el que aquí se presenta, buscan visibilizar las prácticas docentes en el aula, para de este modo contribuir a su mejora. Se parte del supuesto de que la selección de los contenidos del programa que el docente incluye
1 En educación secundaria en Uruguay, por ejemplo, hay un inspector de asignatura cada 424 profesores. El mínimo deseable, de acuerdo a los propios inspectores, sería 1/250. El ratio actual, según indican, lleva a que solo se pueda visitar a cada docente en el aula una vez cada tres o cuatro años.
2 Incluso en caso de no contar los centros educativos con un archivo de pruebas, no requiere mayor esfuerzo establecer esta práctica, o recabar las pruebas directamente de los docentes.
3 Vanessa Anfitti, Cecilia Emery, Fiorella Ferrando, María Noé Seijas, Jennifer Vinas-Forcade. Dirección: Federico Rodríguez. Consultoras: Silvina Larripa, Beatriz Macedo. Codificación pruebas: Lilián Bentancour, Ivanna Centantino, Melissa Levrero, Beatriz Macedo, Wellington Mazzotti.
4
en la evaluación, así como los modos en que estos son evaluados, ponen de manifiesto un conjunto de habilidades y con-tenidos que este docente considera especialmente relevantes para el curso que imparte. Como señalan Díaz-Barriga Arceo y Hernández Rojas (2003), “a pesar de los inconvenientes y las fuertes críticas que se les han hecho, las pruebas de lápiz y papel continúan siendo los instrumentos más utilizados en la evaluación escolar” (p.379).
Analizando las pruebas escritas puede observarse en qué medida se corresponde la selección realizada por el docente con aquello que se privilegia en el sistema educativo en que se desempeña. La normativa vigente en cada país permite un acercamiento a esto último. También el currículum, como conjunto de regulaciones vinculadas con los procesos de selec-ción, organización, distribución, transmisión y evaluación del contenido escolar (Gvirtz y Palamidessi, 2004), constituye sin dudas uno de los referentes de las prácticas de evaluación de aprendizajes en el aula.
De acuerdo con Camillioni (1998), “si el docente tiene que contar con teorías explicativas acerca de cómo aprenden los alumnos y sobre qué es enseñar, también deberá trabajar con teorías acerca de la evaluación, su relación con los pro-cesos de enseñanza y aprendizaje, el lugar que ocupa la evaluación en la administración de un proyecto de enseñanza, qué alcances y límites debe tener” (p.70). Para la autora, es deseable “insistir en la necesidad de que todas esas teorías sean consistentes entre sí y conformen, en su conjunto, una base de percepción, pensamiento, sentimiento y conocimiento que permita fundar y justificar la acción docente” (pp. 70-71).
No obstante, esto no es sencillo pues, como afirma Perrenoud (2008), la investigación didáctica tiene una deuda con la producción de conocimiento sobre evaluación. Por otra parte, la formación docente en la región tampoco ha sabido darle a la evaluación un espacio de tratamiento privilegiado: “la evaluación casi no es objeto de estudio durante la formación docente” (IEE, 2011:7), pero puede ser uno de los focos del desarrollo profesional que se brinde a los docentes a lo largo de su carrera. Una evaluación del desempeño docente que incorpore el análisis de los modos en que estos evalúan permi-tirá identificar, entre otras, las necesidades de capacitación en el área.
La codificación de pruebas escritas
Para codificar las pruebas, se definió un manual de codificación4 que establece dimensiones para valorar cada ítem o acti-vidad, así como al agrupamiento al que pertenece. Se definió al ítem como la unidad mínima pasible de recibir puntuación en la prueba, o que supone la realización de una tarea identificable, que puede “recortarse” como singular en la consigna de trabajo. El agrupamiento es el conjunto de ítems que comparten un mismo estímulo o tema.
Dimensiones a codificar
De la prueba: su periodicidad (mensual, semestral) y cantidad de versiones existentes.Del agrupamiento: lugar que ocupa en la prueba y tema/contenido principal.Del ítem:
» Lugar que ocupa en la prueba y en el agrupamiento » Existencia o no de un estímulo / información adicional brindada y tipo: texto breve/medio/extenso, cuadro/tabla, imagen/infografía, mapa geográfico/conceptual, etc.
» Tipo: opción múltiple, apareamiento, verdadero/falso, ordenamiento, completamiento con/sin información dada, producción más/menos extensa, etc.
» Contenido evaluado y adecuación a la pauta curricular. » Tipo de situación presentada: trivial, disciplinar/escolarizada, disciplinar/contextualizada, cotidiana, social, expe-rimental.
» Procesos cognitivos evaluados: memoria, aplicación, comprensión, valoración y producción, con sus respectivos sub-procesos.5
4 Ver Anexo disponible en https://drive.google.com/file/d/0B4mKhvl4HFjIbF9kZ3B4b3VrVXc/view?usp=sharing5 Ver anexo, p.3-5, en base a Doyle 1983; Anderson y Krathwohl 2001.
5
» Tipo y sub-tipos6 de conocimiento evaluado: factual, conceptual, procedural o metacognitivo. » Actualización del enfoque didáctico
Aplicando códigos para cada caso, se obtienen luego planillas por asignatura en las que cada fila representa un ítem y cada columna representa una dimensión (ver figura 1). El procesamiento de estos datos permite conocer lo que predomi-na para cada dimensión y asignatura. Para obtener información por docente, necesaria para su evaluación de desempeño, debe agregarse una columna en que se ingrese, para cada ítem, el código del docente que propuso la prueba en que este se encuentra. Esta información no fue incluida en el estudio que aquí se presenta por no tener por objetivo el análisis de los resultados obtenidos por docente.
Figura 1 Vista parcial de la codificación de pruebas escritas de Matemática
Resultados obtenidos en el estudio
El análisis de la codificación de las pruebas escritas recabadas en este estudio reveló una preponderancia de las tareas de memoria y repetición, en que los enunciados tienden a ser breves y requieren respuestas breves y unívocas (figura 2). Esto se corresponde con los tipos de conocimiento priorizados en las pruebas. Predominan los ítems que buscan evaluar la adquisición de conocimientos factuales, de terminología, detalles, elementos específicos e información literal (figura 3).
Figura 2 Ejemplo prueba de Historia
6 Ver anexo, p.6, en base a Anderson y Krathwohl 2001.
6
Figura 3 Ejemplo prueba de Ciencias Físicas
En menor proporción se encuentran tareas de aplicación rutinaria o ejercitación de procedimientos, donde también la memorización aparece como estrategia central de aprendizaje. Se identifican unas pocas tareas de comprensión, mien-tras que las de valoración y de producción —entre las que se incluye la resolución de problemas o situaciones comple-jas— son muy escasas.
En cuanto a los conocimientos, el conceptual (significados de palabras o expresiones, clasificaciones, categorías, prin-cipios, generalizaciones, teorías, modelos o estructuras) aparece en segundo lugar, en menor proporción que el factual. Le sigue el procedural (habilidades, algoritmos específicos y reglas, técnicas y métodos) más frecuente en primaria que en media. No se encontraron pruebas que evalúen el conocimiento metacognitivo (estratégico, de los objetivos cognitivos, contexto y condiciones de aprendizaje, y autoconocimiento).
La contextualización de las tareas mediante el uso de estímulos es mayor en educación primaria que en media. En ambos ciclos, sin embargo, la mayoría de las tareas carecen de correspondencia con la vida extra-escolar. Se trata de ac-tividades de tipo disciplinar-escolarizadas, contextualizadas en situaciones creadas en y para la escuela, aunque pueden mantener cierta relación con el campo disciplinar de referencia (figura 4). Solo en pocos casos se proponen actividades que buscan trascender el espacio escolar, ofreciendo oportunidades para que los estudiantes resignifiquen saberes disci-plinares en contextos sociales más amplios (figura 5) o de la vida en sociedad en general (figura 6).
Figura 4 Ejemplo prueba de Historia
Figura 5 Ejemplo prueba de Matemática
7
Figura 6 Ejemplo prueba de Matemática
La adecuación a la pauta curricular y actualización del enfoque didáctico fueron codificados en una escala de cuatro puntos. En términos generales, los contenidos de las pruebas se corresponden con la pauta curricular, aunque se obser-van diferencias epistemológicas y didácticas con lo prescrito en los marcos curriculares. Estas diferencias, sin embargo, podrían explicarse por la poca información que el marco curricular vigente en Uruguay brinda acerca de cómo y para qué deben ser evaluados los contenidos. Para su uso en evaluación del desempeño docente, la actualización didáctica deseable en cada sistema educativo debería ser definida a partir de un marco teórico específico para cada asignatura o disciplina, previo a la aplicación de la evaluación.
Consideraciones para el uso de pruebas escritas como herramienta de evaluación del desempeño docente: Limitaciones del instrumento
Las pruebas escritas permiten un acercamiento al modo en que el docente evalúa a sus estudiantes. Sin embargo, el análisis del discurso de los docentes participantes del estudio muestra que estas prácticas no siempre se corresponden con la concepción de evaluación que expresa el docente o con lo que este considera deseable. A su vez, las decisiones de calificación y promoción que toman los docentes, si bien otorgan gran importancia a las pruebas escritas, incluyen tam-bién el desempeño de los estudiantes en otras instancias de evaluación, tales como la participación en clase o la entrega de tareas domiciliarias.
Al momento de evaluar el desempeño del docente se debería considerar el conjunto de instrumentos y prácticas de enseñanza y evaluación que desarrolla. El análisis de pruebas escritas es un modo de acercarse a estas últimas, que debe utilizarse en conjunto con otras herramientas para conocer mejor el desempeño del docente, particularmente las áreas en las que es necesario enfocar planes de mejora.
Como afirman Díaz-Barriga Arceo y Hernández Rojas (2003), “ningún instrumento es por sí mismo suficiente (aun-que hay algunos que definitivamente son superiores que otros) si no se utiliza en forma inteligente y reflexiva” (p.361).
8
CONCLUSIONES
El análisis de las consignas de pruebas escritas que los docentes proponen a sus estudiantes permite conocer algunos aspectos del modo en que el docente concibe y realiza la evaluación en el aula.
El trabajo con pruebas escritas, por requerir menor cantidad de recursos humanos, económicos y técnicos que la filmación u observación directa de aulas, se presenta como una herramienta favorable y complementaria en la evaluación del desempeño docente. Se trata de una herramienta útil, principalmente, para detectar áreas en que el docente requiere apoyos adicionales. No debe, sin embargo, ser utilizada como única información acerca del quehacer docente, dadas sus limitaciones para ilustrar comprehensivamente la enseñanza y evaluación en el aula.
BIBLIOGRAFÍA
ANDERSON, L. y KRATHWOHL, D. E. (2001), A Taxonomy for learning, teaching and assessing: A revision of Bloom's taxon-omy of educational objectives, Addison Wesley Longman, Inc, New York.
CAMILLONI, Alicia (1998a), “La calidad de los programas de evaluación y de los instrumentos que los integran” en CAMILLONI Alicia y otros, La evaluación de los aprendizajes en el debate didáctico contemporáneo, Paidós Educador, Buenos Aires.
DÍAZ BARRIGA ARCEO, Frida y HERNÁNDEZ ROJAS, Gerardo (2003), Estrategias docentes para un aprendizaje significativo, McGraw-Hill, México.
DOYLE, Walter (1983), Academic work, Review of Educational Research, University of Texas, vol. 53 núm. 2, Austin.GVIRTZ, Silvina y PALAMIDESSI, Mariano (2004), Currículum y enseñanza. El ABC de la tarea docente, Aique, Buenos Aires.IEE-INSTITUTO DE EVALUACIÓN EDUCATIVA (2011), La evaluación en las aulas de secundaria básica en cuatro países
de América Latina, Propuesta al Cuarto Concurso del Fondo de Investigaciones Educativas FIE-PREAL, Universidad Católica del Uruguay, Montevideo.
PERRENOUD, Phillipe (2008), La evaluación de los alumnos. De la producción de la excelencia a la regulación de los apren-dizajes. Entre dos lógicas, Editorial Colihue, Buenos Aires.
RAVELA, Pedro (2009), “Consignas, devoluciones y calificaciones: los problemas de la evaluación en las aulas de edu-cación primaria en América Latina”, Páginas de Educación, Vol. 2, Universidad Católica del Uruguay, Montevideo, pp. 49-89.
RAVELA, Pedro (2010), “La evaluación de aprendizajes en las aulas de primaria en América Latina. Enfoques y prácticas”, en WAINERMAN, Catalina y DE VIRGILIO,
Mercedes (comps.), El Quehacer de la Investigación en Educación, capítulo 5, Manantial, Universidad de San Andrés, Buenos Aires.
RAVELA, Pedro, LEYMONIÉ, J., VIÑAS, J. y HARETCHE, C. (2014), La evaluación en las aulas de secundaria básica en cuatro países de América Latina en Propuesta Educativa de FLACSO, Volumen 1, Año 23, pp. 20-45.