orealc/unesco santiago llece seminario de elaboración de ítems para el terce habilidades de...
TRANSCRIPT
OREALC/UNESCO Santiago
LLECE
Seminario de elaboración de ítems para el TERCE
Habilidades de escritura: de la investigación a la evaluación
Ana Atorresi
Bogotá, 25 de mayo de 2011
Punto de partida
En el marco del SERCE, los países plantean en 2005 que la escritura no debe evaluarse con ítems de selección, compleción de frases o respuesta breve, sino con textos completos y de forma procesual.
Por tal razón, el área de Lenguaje se separa en Lectura y Escritura y se diseña el estudio de las habilidades de escritura de los estudiantes de América Latina y el Caribe. El marco conceptual, los objetivos, las características de las pruebas y del análisis fueron aprobados mediante votación por los países miembros.
1) La escritura y su evaluación en el SERCE
Los géneros escolares
Exigen establecer una relación comunicativa atípica: actuar como si el docente receptor no supiera y, a la vez, tener en cuenta que detenta el saber (por ejemplo, las tesis).
O tienen una estructura “conversacional” en la que se presenta recurrentemente el par pregunta-respuesta y que exige romper con la unidad de tema (por ejemplo, los cuestionarios y algunas pruebas de selección);
O tienen un tema, en general dado por el evaluador, que se sobreimpone y se plasma en una “pseudo-estructura” (por ejemplo, las “redacciones” y las “reflexiones”).
O falsean la situación comunicativa (por ejemplo, escribir una carta al compañero de curso y narrar por escrito una anécdota).
La posición del SERCE
Los textos escolares no cumplen una función social real y la escuela debe preparar a los estudiantes para realizar prácticas de escritura auténticas.
Los textos no surgen espontáneamente: se componen procesualmente poniendo en juego los conocimientos propios respecto de lo disponible en el intertexto de la cultura sobre los usos sociales del lenguaje.
La escritura no es una expresión pura de la creatividad: los escritores expertos se basan en géneros preexistentes.
La escritura no es un don innato: se aprende mediante la enseñanza, la lectura, la escritura y buenas evaluaciones.
La evaluación de aula que ignora el proceso seguido al escribir no lo enseña e interviene cuando el estudiante no puede volver atrás para ajustar nada. Si se trata de una evaluación externa, da una señal pedagógica contradictoria y de impacto no deseado.
La posición del SERCE
La evaluación que no explicita o que ignora la relación entre la práctica social, por un lado, y la forma, el contenido y el estilo del género, por otro, no es auténtica y se plasma inevitablemente en géneros escolares.
La evaluación que realiza correcciones globales del producto o focalizadas sobre algunos aspectos superficiales del producto impide al estudiante construir e interiorizar aprendizajes.
En oposición a lo anterior, hablamos de evaluación del proceso y del producto y no de evaluación del producto ni de corrección de la escritura.
La posición del SERCE En los modelos procesuales cognitivos, la producción textual se
describe de modo dicotómico —lo que pueden los “expertos” y no pueden los “novatos”—, a partir de un modelo adulto de “procesamiento de la información”, obtenido en situaciones experimentales en las que la relación entre el sujeto y el texto es individual y excluye las relaciones con otros, con el contexto inmediato y con la cultura. Esa mente individual trabaja como una computadora.
Por el contrario, una descripción de la producción escrita debe mostrar cómo los estudiantes pasan en la escuela de un estado de menor conocimiento a otro de mayor conocimiento. De aquí la necesidad de los estudios longitudinales comparados.
Además, debe informar cómo los estudiantes construyen textos en contextos reales y qué estrategias disponibles en las prácticas socio-culturales utilizan para resolver el problema comunicativo con el cual un contexto los enfrenta. Solo así pueden planificarse y ejecutarse intervenciones didácticas adecuadas.
Objetivos
Detallar características de la escritura de los estudiantes de 3ero. y 6to. grados de la región según sus propias habilidades, es decir, suspendiendo el paradigma cognitivista.
Analizar las habilidades de los niños para escribir en función de su contexto.
Discriminar de qué orden son las estrategias, los logros y las dificultades de los estudiantes, rechazando la hipótesis de la co-variación de los rasgos.
Proporcionar antecedentes para una discusión sobre los logros que podrían esperarse y sobre cómo se los podría fomentar en relación con los currículos prescriptos e implementados y las prácticas de enseñanza.
Fomentar discusiones sobre los enfoques de investigación y las modalidades de evaluación de la escritura.
Ofrecer insumos para determinar empíricamente rasgos que co-varían, factores asociados a los logros en la escritura, etc.
Características Demandó la escritura procesual (borrador, revisión y escrito final) de
textos auténticos y significativos.
Explicitó el género discursivo, el destinario y sus conocimientos sobre el tema, el contexto de circulación del escrito, el tema global y los subtemas en que debía expandírselo según cantidades de ideas.
La confiabilidad de los instrumentos y de la evaluación alcanzó en la fase piloto el máximo posible según el modelo Rash de facetas.
Descartó en el pilotaje los aspectos en los que los evaluadores no alcanzaron precisión y consenso: puntuación y cohesión.
En la aplicación final se basó en una muestra representativa con una confianza de 95% en el nivel del país. El error de precisión de las estimaciones fue 5%.
Implementó el procedimiento de la evaluación múltiple (4 evaluadores por país y dos supervisores).
Características No entregó puntuaciones globales, sino que analizó aspectos
comprendidos por el proceso de escritura y su producto. A partir de esto, pueden establecerse niveles de desempeño tal como se procede en las otras áreas: a posteriori, mediante la Teoría de Respuesta al Ítem y a través del diálogo entre estadísticos y expertos en lenguaje.
Estableció si las diferencias entre países en cada uno de los aspectos evaluados eran estadísticamente significativas y pedagógicamente significativas (significancia práctica).
En las interpretaciones incluyó el análisis curricular de la escritura, que no se había realizado específicamente antes.
3) Algunos resultados
Borrador, tercer grado.
Texto final del borrador anterior.
• En tercer grado casi 55% de los estudiantes escribe borradores adecuados a la instrucción, pero solo 37% se adecua a la instrucción también en el texto. En sexto grado los borradores adecuados son casi 88%, pero los borradores y textos adecuados bajan a 34% aproximadamente. Es decir, casi 65% de los estudiantes de los dos grados evaluados termina escribiendo sobre un tema no solicitado o estructura el tema en un género no solicitado.
El formato de los borradores (una hoja de un anotador común con los subtemas sin organización gráfica en tercer grado y un cuadro sinóptico con el tema y los subtemas en sexto) parecería no incidir en la adecuación a la instrucción del borrador y el texto, pues los resultados regionales son parejos en ambos grados.
Estos datos podrían relacionarse con la alta frecuencia con que se proponen consignas de escritura simples (es decir, sin “pasos”), orales y libres en cuanto al género (es decir, solo con mención de un tema); asimismo, con la poca frecuencia de uso de formatos para apoyar la planificación de los textos. Indicarían, además, la importancia de continuar dando señales pedagógicas sobre el proceso de escritura.
De los estudiantes que se adecuan a la instrucción y plantean un número de ideas cercano al pedido, en ambos grados aproximadamente 76% lo “pierde” al construir el texto. La “pérdida” de ideas podría deberse a que los estudiantes no saben economizar esfuerzos cuando elaboran borradores y, por tanto, la motivación o el tiempo no les bastan para recuperarlas en el texto. Este resultado es otro de los más problemáticos entre los que se refieren al proceso de escritura.
Entre 2% y 3% de los niños que se adecuan a la instrucción y plantean un número de ideas cercano al pedido expanden la información base del borrador. Aunque la cantidad es pequeña, podría mostrar que los niños tienen habilidades que en general no se adjudican a los llamados “escritores novatos”.
Los resultados por país en los índices referidos al proceso revelan que no todos los que sostienen un enfoque curricular procesual logran diferencias estadísticamente positivas y que países que no prescriben ese enfoque sí las logran. Esto indicaría la importancia de mantener los índices de proceso, así como de estudiar currículos implementados y prácticas docentes.
Casi la mitad de los estudiantes de ambos grados tiene dificultades para hacer avanzar la información y repite ideas innecesariamente. Estos resultados podrían relacionarse con prácticas como redactar hasta completar una cantidad de líneas, incluso reiterando ideas mediante paráfrasis.
Casi la mitad de los estudiantes entremezcla temas o altera las secuencias. Los resultados podrían relacionarse con dificultades para clasificar y ordenar de acuerdo con criterios planificados previamente.
Dada la semejanza de estos puntajes en el nivel regional, cabe considerar la reunión de “progresión de la información” y “distribución de la información” en un mismo índice.
El género en el que se solicitó inscribir el texto en sexto grado fue la descripción enciclopédica, que demanda un registro objetivo y formal y la ausencia de interpelaciones al destinatario. De los estudiantes de sexto, 34,5% escribió textos enciclopédicos y aproximadamente 27% de ellos tuvieron 1 o más errores de registro cada 31 palabras por uso de expresiones informales (“el perro caga y mea como todos los animales”) y casi 22% por la inclusión de marcas de comunicación interpersonal (“¡Que Dios los bendiga, señores de la UNESCO!”).
Si se hubieran reunido en una misma dimensión la adecuación general al género y el registro, los resultados habrían bajado cerca de 12 puntos sin que se pudieran diferenciar dificultades de tema y estructura de dificultades pragmáticas.
Se estudiaron los errores de léxico, entendidos como usos de lexemas inexistentes (“evitar el fecalismo al aire libre”, “atender a las cheguas”) y empleados con significado erróneo (“ir al dentista variadamente”). Los errores decrecen en ambos grados a medida que aumenta la cantidad de palabras, es decir, los niños con más dificultades para escribir presentan la mayor cantidad de errores. Si no se hubieran contado palabras y calculado frecuencias, se desconocería esta relación.
El máximo de errores de léxico es 1 cada 10 palabras y el máximo de errores de ortografía es 1 cada 3 o 4 palabras. Si se tiene en cuenta que ambos índices se elaboran a partir de la cantidad de palabras y que en cada palabra puede haber varios errores de ortografía pero solo un error de léxico, parecería necesario considerar la mantención del estudio de los errores de léxico.
¿Qué modalidades de enseñanza y de evaluación propician el valor social y subjetivo de la escritura? ¿Cuáles proponen, en cambio, la composición artificial de textos artificiales: sin pasos, sin género, sin un propósito, sin un destinatario y existentes solo en el marco de la institución educativa y para el evaluador y sus expectativas?
Conocer de cerca las buenas prácticas, así como los avances que los niños pueden lograr, parece ser una tarea necesaria para motorizar cambios que conduzcan a una alfabetización que forme escritores creativos y críticos y se prolongue durante toda la vida.
Escribir es una apropiación de la cultura que conduce a la modificación del conocimiento del sujeto y de la sociedad. El desafío de enseñar a escribir y reescribir la cultura bien vale la pena. Los lápices quieren seguir escribiendo.
Hacia adelante
Estudio completo disponible en: http://unesdoc.unesco.org/images/0019/001919/191925s.pdf