informe de c onsultorÍa de revisiÓn y anÁlisis del …³n y... · para la narración y para la...
Post on 13-Mar-2020
5 Views
Preview:
TRANSCRIPT
1
INFORME DE CONSULTORÍA DE REVISIÓN Y
ANÁLISIS DEL MARCO DE TRABAJO Y LOS
INSTRUMENTOS DE EVALUACIÓN,
CORRECCIÓN Y ANÁLISIS DE LA PRODUCCIÓN
ESCRITA DE LOS ESTUDIANTES DE SEXTO
GRADO DE PRIMARIA PARA LA EVALUACIÓN
MUESTRAL 2013
ANA ATORRESI
2
El presente documento se realizó por encargo del Proyecto Fortalecimiento de la Gestión de la Educación en el Perú (FORGE) que es implementado por el Grupo de Análisis para el Desarrollo – GRADE con el apoyo técnico y financiero del Gobierno de Canadá a través de Global Affairs Canada. (Proyecto Nº A-034597)
Informe de consultoría de revisión y análisis del marco de trabajo y los instrumentos
de evaluación, corrección y análisis de la producción escrita de los estudiantes de
sexto grado de primaria para la Evaluación Muestral 2013
Informe de consultoría: Proyecto FORGE Lima, 2014 Autora: Ana Atorresi
Cuidado de estilo: María Fernanda Torres
Las opiniones y recomendaciones vertidas en este documento son responsabilidad de sus
autores y no representan necesariamente los puntos de vista de GRADE ni de las instituciones
auspiciadoras.
3
Informe sobre las posibilidades de análisis que ofrecen las consignas de producción piloteadas
En este informe se analiza la información que es posible ofrecer a partir de las consignas de
producción de textos piloteadas. Teniendo en cuenta las restricciones que plantea al proceso
de codificación la naturaleza masiva de la prueba, así como la población escolar a la que
apunta el FORGE , se enumera y justifica la información que podría recogerse y no está aún
contemplada en las rúbricas. Además, se detalla información que las rúbricas recaban
superando la consigna, es decir, partiendo del supuesto de que la consigna exige ciertas
características de la producción que, en realidad, no han sido demandadas.
En cada caso, se abordan en primer lugar consideraciones que atañen a todas las consignas en
su relación con las rúbricas; en segundo lugar, consideraciones específicas sobre las consignas
para la narración y para la argumentación, comenzando por aspectos comunes a todas ellas,
siguiendo con que se ha decidido aplicar en la evaluación definitiva y terminando con las que
se han reservado para posibles aplicaciones futuras.
Finalmente, como resulta prácticamente imposible abordar la información recogida y la que
podría recogerse sin hacer referencia a las rúbricas, se adelantan, intercalados, comentarios
correspondientes al Producto 2 de la consultoría: “Informe sobre la rúbrica de escritura de
sexto grado”.1
1.1. Información que podría reportarse en narración y en argumentación
Filtros
Se observa que los Filtros obstaculizan el reporte de información valiosa o, al menos, que la
denominación “filtros” es limitante. Por un lado, deberían diferenciarse las pruebas que se
descartan por fallas ajenas a los estudiantes (errores de impresión), pues este dato
proporciona información “interna”, para uso del equipo de la UMC.
Por otro lado, no solo las respuestas que son textos legibles de 40 palabras o más (nivel 4)
pueden usarse para reportar información sobre el léxico, la ortografía, la segmentación de
palabras y las construcciones que se apartan de la norma estándar: también sirven para estos
fines las respuestas que no son textos (Nivel 2) y las que tienen menos de 40 palabras (Nivel 0).
Particularmente, las respuestas que tienen menos de 40 palabras pueden aportar información
más precisa respecto de la escritura en el nivel de la palabra y la construcción sintáctica sobre
los estudiantes con mayores dificultades en la escritura de textos. Debe tenerse en cuenta,
además, si la muestra es representativa con 97%-95% de confianza para cada una de las
formas (narración por una parte y argumentación por la otra) o para la suma de ambas; en el
último caso, es mucho más necesario conservar la mayor parte posible de los escritos.
Asimismo, debería explicitarse si los filtros se aplican al borrador, al texto o a ambos. Teniendo
en cuenta el diseño gráfico de la prueba, que ubica el borrador de escritura en la página 2 del
1 Estos comentarios no agotan el “Informe sobre la rúbrica de escritura de sexto grado”.
4
cuadernillo, el filtro podría aplicarse al borrador especulando con que los niños lo abordarán
siempre primero; sin embargo, se corre el riesgo de desechar escritos que se hayan producido
directamente como versión final pues las consignas dicen “En este espacio, puedes escribir el
borrador de tu texto”, lo que vuelve opcional la escritura de éste. Se sugiere, entonces,
explicitar que las respuestas para considerar serán las más elaboradas, ubicadas tanto en el
borrador como en el texto.
Finalmente, en el Nivel 2 de los filtros se reúne información que puede ser interesante separar
desde el punto de vista pedagógico: los niños que escriben no textos, entendidos como
oraciones sin ligazón entre sí, así como los niños que escriben copias, dan cuenta de la
persistencia de modelos didácticos perimidos; en cambio, los niños que escriben palabras
aisladas mostrarían dificultades de escritura de otro orden.
En suma, parece importante recoger el dato de las fallas de impresión para uso interno y, para
reportar información, a) considerar los escritos de 40 palabras o más incluidos o en el borrador
o en el texto para aplicar todos los indicadores menos los referidos a la edición; b) diferenciar
no textos de palabras aisladas; c) tomar las respuestas con menos de 40 palabras que sean
textos y no textos para analizar los criterios del nivel de la palabra y las construcciones
sintácticas. Para esto, sería conveniente adelantar el conteo de palabras en la rúbrica. A fin de
evitar resultados distorsionados en Coherencia, Cohesión y otros indicadores que son
pertinentes solo para textos y además textos relativamente extensos, puede darse una
indicación del tipo “Aplicar solo en textos de 40 palabras o más”.
Edición
Podría considerarse la inclusión de otros dos niveles. Uno, el uso del borrador como texto para
otros lectores y no para sí, uso que muestra la incomprensión de la utilidad del borrador como
plan. Evidencias de este uso detectadas en el corpus de ejemplos ofrecido a la consultora son el
trazado de líneas con regla para escribir “bonito”, la mejor caligrafía en el borrador, la mayor
extensión del borrador, la “decoración” del título o de la palabra “fin”, entre otras. Estos
indicadores están ausentes en los niveles 2 y 1, que solo consideran la caligrafía y asumen que
siempre será mejor en el texto, como si no fuera posible que el niño “agote sus energías” en el
borrador.
El otro nivel que podría sumarse es el diseño del texto en función de los contextos “presentación
del cuento para un concurso” e “inclusión de la argumentación en un periódico”. Indicadores de
este logro, para la narración, serían la decoración del título y de la palabra “fin”, la inclusión de
ilustraciones pertinentes y de todo aspecto que apunte a mejorar la presentación. Para la
argumentación lo serían las marcas tendientes al diseño periodístico, en algunas consignas. Cabe
advertir que en el corpus recibido no se han encontrado casos de diseño “periodístico”.
Hay que evaluar si conviene integrar estos niveles en los ya propuestos, que consideran borrador
y texto conjuntamente. Parecería más oportuno plantearlos aparte, como Uso de borrador con
fines pertinentes y Uso del texto en función del contexto o bien buscar una combinación que
supere la caligrafía como único indicador de los niveles 2 y 1 de Marcas de edición.
5
Adecuación a la situación comunicativa
En primer lugar, en Secuencia, parece interesante separar el actual Nivel 1 de la rúbrica en dos:
por un lado, el estudiante narra o argumenta, según corresponda, y por otro, redacta otra
secuencia no pedida, para captar casos como varios vistos en el corpus (cartas dirigidas a
parientes, comentarios personales sobre el modo en que actúan los propios padres, etc.). No se
trata meramente de captar la falta de adecuación al tema o a la secuencia, sino la producción
de textos que evidencian la incomprensión total de la consigna. También hay casos en los que
se observan dos o más textos, de los cuales uno presenta la secuencia pedida; se sugiere mostrar
estos casos en el Manual e indicar que, para la codificación, se considere el texto más adecuado
a la consigna.
Coherencia
Si el texto tiene significado autónomo es un fenómeno de la coherencia que parece importante
evaluar en forma separada. En la rúbrica actual, la falta de autonomía del texto debida a que la
consigna es supuesta por el niño como parte de él (podrían ser otras las razones) es un indicador
de la cohesión igualado en importancia a la sustitución pronominal o al uso de conectores. Sin
embargo, la ausencia de información global se asocia a la coherencia no solo teóricamente, sino
también pedagógicamente: da cuenta del aprendizaje (o no) del texto como unidad
comunicativa. Los restantes indicadores incluidos en Cohesión, en cambio, apuntan claramente
a evaluar el uso de mecanismos de textualización más locales.
Por otra parte, en Mantenimiento, el Nivel 1 (“No se puede determinar un tema central”) está
descripto en la Rúbrica como si lo leído fuera un no texto, lo que ya habría sido filtrado al inicio
de la rúbrica. En la misma línea, en el Manual se dice “El nivel 1, finalmente, caracteriza a
textos en los que no se puede apreciar unidad temática alguna” y se da el siguiente ejemplo,
en el que en realidad hay dos temas sin conexión entre sí: el tema cursos propuestos, en las
seis primeras cláusulas, y el tema preparación para el concurso en las dos últimas; el
predominio del primer tema puede hacer pensar que hay un tema y al final, una digresión,
caso que correspondería al nivel 2:
Texto 4
Como todos saben, un grupo de padres de familia ha propuesto eliminar el curso de
Educación Física para darle más tiempo a otros cursos como Comunicación o
Matemática. Yo no estoy de acuerdo con esa propuesta. Por lo general no estoy de
acuerdo con las propuestas de los padres. Recuerdo que una vez propusieron que se
construya un espacio para juegos de mesa en el lugar donde está la cancha de fulbito, y
querían que todos nos pusiéramos a jugar ajedrez. En todo caso creo que varios cursos
se deberían mantener, aunque no todos. De hecho es así para Biología, porque me
encantan las disecciones.
6
El mes próximo va a haber un concurso de coreografías y sería bueno que nos vayamos
preparando, porque vamos a tener público de muchos lugares distintos. Es importante
que defendamos la reputación de nuestro colegio.
Parece necesario, entonces, redefinir el nivel 1 o eliminarlo. Según el corpus analizado y la
experiencia de la consultora, se sugiere la eliminación.
Cohesión
Se sugiere añadir un indicador referido a la repetición de sustantivos, verbos o adjetivos que no
busca un efecto estilístico. Si la sugerencia se aceptara, en el Manual habría que hacer hincapié
en la diferencia entre este tipo de repetición y lo que se ha denominado, en Coherencia,
Estancamiento, así como en que se contabilicen solo las palabras cuya repetición es posible
evitar en sexto grado. Por ejemplo, para el nivel 1, “Se observan al menos cuatro repeticiones
de palabras que podrían haberse evitado (‘yo quiero pedirle’, ‘quiero que construya’, ‘quiero un
parque cerrado’ y ‘quiero un parque para que las niñas jueguen aparte’); la repetición de parque
no cuenta porque su sustitución por un sinónimo es compleja/prácticamente imposible/para
sexto grado”.2 Este indicador puede añadirse a los ya consignados en la rúbrica, pues atañe a la
cohesión léxica.
Además, se sugiere agregar en la rúbrica el uso incorrecto de nexos, salvo “y”. En el corpus
encontramos textos del tipo de este fragmento: “La niña se encontró con sus amigos. Donde las
amigas le dijeron que no se atrevía a entrar en la casa embrujada. Donde la niña que era valiente
se atrevió”. Por lo general, este uso incorrecto es repetitivo, razón por la cual en “Repetición de
palabras” se sugiere especificar las clases sustantivo, verbo y adjetivo. Dado que el uso reiterado
de “y” está en general asociado a la ausencia de puntuación, conviene excluir este nexo para no
contabilizar dos veces el problema, como se advierte en el Manual. Cabe señalar que el uso
incorrecto de conectores, no mencionado en la Rúbrica, sí se aborda en el Manual.
Construcción oracional
Se sugiere revisar el Nivel 1: “El texto no se puede comprender (desde el punto de vista de un
hablante idealizado de la variedad limeña) debido al uso excesivo de formas no estandarizadas”,
pues incluso considerando el Manual parece equivalente a un filtro ya aplicado. Podría tomarse
un intervalo entre hasta cinco o seis formas (Nivel 2) y más de cinco o seis (Nivel 1), por ejemplo.
Así, además se evitaría el uso de la palabra “excesivo”, que comporta un sesgo ideológico.
Por otra parte, cabe señalar que en el corpus no se ha encontrado ningún caso incomprensible
para la consultora argentina por el uso de formas no estandarizadas: tal vez podría eliminarse el
actual Nivel 1.
2 En el castellano de Argentina, parque es un espacio verde no natural mucho más amplio que plaza y no tiene sinónimo; ignoramos si este argumento esgrimido sobre la base de un ejemplo tomado del corpus es pertinente también en Perú y esa es la razón de las alternativas señaladas con barras.
7
Registro
Se sugiere reducir los indicadores y ampliar la aplicación del criterio a las narraciones. Los
fundamentos se dan en 1.3., pues dependen de la consideración de la información que
permiten reportar las consignas argumentativas.
Marcas socio-culturales
Un criterio que puede añadirse para trabajar en forma cualitativa e incluso para ejemplificar
reportes de factores asociados al aprendizaje son ciertas marcas evidentes de nivel
socioeconómico y pertenencia cultural presentes en los escritos. Solo las pruebas de escritura
permiten captar este tipo de marcas y, por lo general, se las deja de lado.
Se proponen dos niveles que no comportan una valoración mejor/peor, sino meramente una
diferencia. Si el texto es neutro en cuanto a la presencia de estas marcas, el criterio no aplica.
En un nivel los textos presentan marcas de ruralidad y pertenencia a un sector socioeconómico
o cultural desfavorecido. Marcas de este tipo que se han hallado en el corpus (con una mirada
extranjera, lógicamente) son referencias a la pobreza personal, a la solidaridad entre vecinos
de un pueblo pequeño, a recoger objetos de la basura, a realizar actividades artesanales, a
reconocer al hijo perdido por la historia familiar compartida, a padres que deben alejarse de la
familia para mantenerla, a familias numerosas separadas geográficamente, al maltrato o al
trabajo infantil.
En el otro nivel los textos presentan marcas de urbanidad y pertenencia a un sector
socioeconómico o cultural favorecido o no desfavorecido. Marcas de este tipo halladas en el
corpus hacen referencia a niños millonarios que van a la selva de vacaciones, a reconocer al
hijo perdido mediante pruebas de ADN, a la frecuentación del cine, al uso de nuevas
tecnologías de la comunicación y a la concurrencia al psicólogo para resolver los problemas
emocionales, entre otros.
1.2. Sobre las consignas narrativas
Adecuación a la situación comunicativa
En el criterio Adecuación a la situación comunicativa puede añadirse la adecuación al género. En
efecto, todas las consignas sobre narración explicitan que el texto debe inscribirse en el género
cuento.
Lo distintivo del género en sexto grado es la presencia de nudo o conflicto. Al respecto nótese
que ninguna consigna explicita que, después de “lo que pasa primero”, hay que narrar qué se
complica: se dice “qué pasa luego” y esto da lugar a la escritura secuenciada de acciones que no
necesariamente presentan una complicación. Hay que advertir que el Manual y la Rúbrica
asumen de hecho la equivalencia entre “lo que pasa luego” y el “nudo” o “acción central”. Por
otro lado, en el corpus de ejemplos se han reconocido casos con presencia de uno o más nudos,
8
así como casos de narración sucesiva de acciones (ordenadas o desordenadas) sin que ninguna
constituya una complicación. Esto habilitaría la inclusión del criterio 3 y la separación entre
“Secuencia textual narrativa” (donde solo se analizaría la secuenciación lineal de acciones) y
“Adecuación al género cuento”.
En cuanto a Secuencia textual narrativa, si la consigna demanda claramente que se cuente lo
que pasa primero, lo que pasa luego y lo que pasa al final, no se comprende por qué, en el Nivel
3 de la Rúbrica, el orden que el estudiante da a las acciones es indiferente. En este nivel se
esperaría que el estudiante ordene con una cronología lineal al menos tres acciones nucleares.
En los niveles subsiguientes podría observarse que las acciones están ordenadas pero son dos
(Nivel 2) o que están desordenadas (Nivel 1); en el Nivel 1 se incluirían también las
contradicciones (el niño es comido por un monstruo y en el núcleo narrativo siguiente los padres
lo encuentran vivo, como se ha observado en el corpus). Tal como se ha sugerido ya, si se hallara
otra secuencia predominante (caso contemplado actualmente también en el Nivel 1) el rasgo
podría recogerse en Narra/ No narra (y Argumenta/ No argumenta).
Así, en Coherencia y en Cohesión se tomarían los casos que son narraciones (y argumentaciones)
y también los que no lo son, para evaluar la mantención del tema y la progresión temática. De
esta forma, se pierde menos muestra.
Consigna “Concurso de cuentos con temas dados”
Sobre esta consigna elegida para la aplicación definitiva, lo único que puede agregarse es que
mientras las alternativas a) (“Lucía en la casa embrujada”) y b) (“Mateo, el niño que se perdió
en la selva”) favorecen la escritura de un nudo, la alternativa c) (“Chumbeque, el perro héroe”)
parece apuntar a la resolución. La alternativa b) es la que más fuertemente apoya la
construcción de un cuento, pues el nudo se plantea explícitamente en el título. En este
sentido, podrían observarse diferencias de éxito en la adecuación al género condicionadas, en
parte, por el grado de ayuda que ofrecen los títulos.
Consigna “Concurso de cuentos de historias de terror”
Esta consigna narrativa es más compleja que la anterior por las alternativas de las que propone
partir. En efecto, “tu cuento puede tratar sobre algo que hayas vivido”, puede incidir en la
3 Vale la pena considerar que, desde el punto de vista teórico, está vigente la discusión respecto de si las
secuencias textuales están por encima del género, como formas prototípicas abstractas comunes a todas
las culturas, o dentro del género, como formas de discurso culturalmente estandarizadas e indexadas a
las que se recurre para componer textos en géneros. Esto ha conducido a preguntarse si la enseñanza
debe partir de secuencias textuales o de géneros y a argumentar que la primera estrategia suele conducir
al borramiento de las condiciones históricas y geográficas en las que se inscribe la producción textual. La
vigencia de estas discusiones avalaría la inclusión del género como un aspecto más de la adecuación a la
situación comunicativa.
9
desviación del cuento hacia la anécdota y “[sobre algo que hayas] escuchado o hayas visto en
una película” exige organizar una re narración. Recordemos que en las historias de
“aparecidos” y personajes del terror, estos se caracterizan por aparecer varias veces y
provocar varias complicaciones, lo que dificulta la transposición a un cuento con un solo nudo.
Se sugiere descartar la consigna para próximas aplicaciones.
Consigna “Cuento con situación ‘eres un robot’”
Esta consigna, desde el punto de vista de la cultura argentina, tiene un sesgo urbano cuya
presencia valdría la pena considerar en Perú. En efecto, los niños que no tienen acceso a la
televisión tendrían muchas más dificultades en ubicarse en la situación propuesta que los
niños que viven en ciudades y pueblos.
Dejando de lado este rasgo cultural, en relación con las consignas anteriores esta parece ser la
más simple en cuanto a estructura, pues se dan la situación inicial y el nudo: “jugando en el
recreo, te haces una herida en la rodilla y descubres que, en el fondo de la herida, hay muchos
cables y metales; tus padres te llevan a un hospital y los médicos te analizan y dicen: ‘Eres un
robot’”.
Ahora bien, a continuación se pide que esa situación inicial y ese nudo se tomen en cuenta
para iniciar el relato en el momento del descubrimiento (“qué haces primero al enterarte de
que eres un robot”); así, se trataría, de hecho, de un cuento con inicio in media res. Resolver
esta operación parece excesivamente complejo para el nivel y en ningún caso del corpus se ha
hallado la resolución pedida: los niños re narran la situación y el nudo dados. Parecería
conveniente, entonces, demandar la reescritura expansiva de la situación inicial y el nudo
dados y la redacción del desenlace. En el corpus hay al menos dos cuentos muy creativos que
proceden de este modo.
1.3. Sobre las consignas argumentativas
Adecuación a la situación comunicativa
En el caso de las argumentaciones, no todas las consignas explicitan el género. De hecho, la
que se ha seleccionado para la aplicación definitiva demanda “un texto” que no se inscribe en
ningún género. De la oración “Tu texto será publicado en el periódico mural de tu salón de
clases” podrían inferirse –y solo inferirse– géneros de diferente grado de complejidad, como la
carta de lector, el artículo de opinión o el editorial. Sin embargo, quienes se oponen al curso o
de Educación Física son ciertos padres, por lo que no puede descartarse, también como
inferencia, la carta de pedido a los padres. En el corpus se ha observado incluso una apelación
oral (“Muy buenos días, Sres. Padres de familia, hoy tengo el honor de comunicarles que no es
10
buena idea que eliminen…”), lo que muestra la fuerza de la cultura que nos impone textualizar
en géneros aunque se nos pidan textos a secas.
Las consignas “Obra para mi colegio” y “Padres pegan a sus hijos” sí exigen la inclusión del
texto en un género. De ambas, la primera parece ser, por su género, la más adecuada para
sexto grado.
Más allá de lo explícito y lo implícito, así como de las prescripciones curriculares, cabe justificar
por qué se asume que los niños de sexto pueden inscribir su texto más fácilmente en el género
cuento que en un género argumentativo. Son conocidos los estudios que demuestran las
dificultades que la argumentación comporta a esta edad. No se trata solamente de una
cuestión de mayor o menor frecuentación de textos de uno y otro género, sino también del
desarrollo de las capacidades de abstracción, generalización y contextualización que la
argumentación requiere. Incluso considerando condicionantes históricos, el cuento es un texto
eficaz o no particularmente por sus características formales intrínsecas, mientras que la
eficacia de la argumentación depende, además y en especial, del contexto de situación. Si bien
en las consignas se han propuesto contextos de cultura cercanos a los niños, los contextos de
situación (convencer a un grupo desconocido de padres, al director de la escuela que ya tiene
la voluntad de usar el dinero recibido, a los lectores en general) son complejos para los niños
de sexto grado debido a su abstracción.
Entonces, se sugiere no evaluar el género en el caso de las consignas argumentativas, salvo
que se las inscriba en el género carta, que aún figura en la Rúbrica como criterio y debería
quitarse para la aplicación definitiva de “Eliminación de Educación Física”.
Por otra parte, a partir de las consignas sobre argumentación no sería justo evaluar el
desarrollo completo de la Secuencia textual argumentativa. En efecto, las consignas solo
exigen explícitamente la escritura de dos razones (“Escríbele una carta en la que expongas dos
razones que fundamenten tu pedido. Tus razones deben ser claras y estar bien explicadas”).
Nada se dice sobre la tesis, cuya escritura se espera a partir de una pregunta previa que puede
aludir, desde el punto de vista del niño, a un proceso mental ante el cual solo responder “sí” o
“no”: “¿Estás de acuerdo con que los padres les peguen a los niños cuando estos se portan
mal?”, “¿Estás de acuerdo con eliminar el curso de Educación Física?”. La excepción es: “¿Qué
le pedirías que construya?”, que en la mayoría de los casos del corpus recibido ha dado lugar a
listas de pedidos sin razones o con razones más y menos logradas subordinadas al pedido y no
a una tesis.
En ese corpus, muchos estudiantes inician su escrito aludiendo directamente a las razones
(“No estoy de acuerdo porque…”) y esto es congruente con lo pedido: una parte de la
estructura completa del texto argumentativo. Por tal razón, si se quiere mantener la
argumentación en la prueba a pesar de su gran diferencia de dificultad con la narración, se
sugiere fuertemente iniciar la escala (el Nivel 3) con la presencia de, al menos, dos razones que
fundamenten el “sí” o el “no”. Los casos en los que se observe una tesis, así como una
conclusión (se han visto casos en el corpus), podrían captarse a través del nuevo criterio
solicitado a la consultora: la creatividad.
11
Se recomienda, además, reforzar en el Manual que los textos que comiencen con “Sí”/”No”
más razones no deben computarse, en Cohesión (arriba se ha sugerido pasar el indicador a
Coherencia), como textos con falta de autonomía de sentido.
Registro
Ante la consigna argumentativa que se decidió aplicar en la evaluación definitiva, no
correspondería penalizar el uso de un registro correspondiente a géneros orales pues no se ha
demandado inscribir el texto en ningún género.4 En futuras aplicaciones de las otras dos
consignas, sí sería posible evaluar todos los indicadores de Registro.
Para esta situación, se sugiere ampliar la evaluación de Registro a las consignas narrativas y
argumentativas considerando los siguientes indicadores: “Uso de vocabulario, construcciones y
contracciones propios de contextos muy informales, salvo en discursos directos o indirectos” y
“Uso de abreviaturas”. En efecto, si los cuentos han de presentarse en concursos o han de
publicarse, se espera que eviten estos usos. Los casos hipotéticos en los que la alta
informalidad resulte un recurso estilístico pueden recogerse en el criterio nuevo solicitado a la
consultora: “Creatividad”.
Si se mantiene el conteo por tipo de transgresión, los niveles de Registro serían, en suma, dos.
Contenido
La evaluación del Nivel 3 en lo que se ha denominado Contenido parece carecer de
fundamentos teóricos, en el sentido de que ninguna teoría sobre la argumentación que la
consultora conozca penaliza el uso de uno u otro tipo de falacia; si la falacia es eficaz, la
argumentación es exitosa en su contexto de producción. De hecho, esa evaluación parece
carecer también de fundamentos didácticos: si un estudiante de sexto grado, por su edad
apegado a sus padres, cuestionara las ideas o actitudes de un grupo de padres de familia,
mostraría muy altas habilidades argumentativas. Lo mismo ocurriría si desplazara la tesis
original hacia otra a fin de ser más persuasivo. Ciertamente, el Manual aclara que se busca
evaluar “vicios de razonamiento”, pero ese campo pertenece a la Psicología del pensamiento5,
y no a la Lingüística y la Comunicación.
Los estudios sobre la argumentación en niños muestran que los argumentos más sencillos y
predominantes son los proto-argumentos (“porque me gusta”, “porque lo quiero”), que en la
Rúbrica se valoran en el nivel más alto de la escala. Entonces, si se ha observado un número
significativo de escritos que superan la proto-argumentación (por uso de falacias o por
4 Nótese que en la Rúbrica aún figuran los géneros carta y artículo de opinión en el nombre del criterio. 5 En el campo de la Psicología del razonamiento, desde los años 80, se ha instalado un debate aún no resuelto en torno a la cuestión de si el razonamiento humano se basa en la aplicación de un conjunto de reglas formales. Las líneas de investigación en torno de los sesgos y los heurísticos, por un lado, y de los modelos mentales, por otro, sostienen que los sujetos (adultos e inteligentes) no se basan en reglas formales al razonar, sino en factores relacionados con el contenido y con el contexto.
12
estrategias como la invocación de una autoridad o la derivación de una ley a partir de un caso,
entre otras), debería ubicárselos en el nivel más alto. El uso de proto-argumentos quedaría,
entonces, en el nivel siguiente.
Los ejemplos dados en el Manual refuerzan esta idea. El siguiente argumento:
En primer lugar, todos sabemos que los padres de familia que han hecho esa
propuesta son ociosos y que no les gusta el deporte. Si les hiciéramos caso le
abriríamos el camino a la obesidad y la mala salud.
Se considera menos elaborado que este otro, autocentrado, con una tautología
(destacada) y fácilmente refutable porque “que a todos les guste y divierta
Educación Física no es razón suficiente para que dejemos de sostener que debe ser
eliminada para reforzar materias más importantes”:
Una segunda razón es que es un curso que nos gusta a todos. Siempre ocurren cosas divertidas y nunca nos da tiempo para aburrirnos.
La única justificación para mantener las estrategias argumentativas más complejas en el Nivel
3 sería moral, en el sentido de “no es moralmente correcto defender una posición propia
atacando verbalmente a otros” o “no es moralmente correcto tergiversar las ideas de otro”. La
consultora desconoce por el momento si los documentos curriculares peruanos proponen la
enseñanza de la argumentación con tal fundamento.
Finalmente, como no se ha exigido al estudiante que redacte una tesis, se sugiere
incluir en el Manual que la consistencia de los argumentos con esta debería inferirse
cuando se encuentre ausente.
Consigna “Argumentación sobre la eliminación de Educación Física”
Para próximas aplicaciones, por las razones ya mencionadas, se sugiere la siguiente redacción:
“En tu escuela, un grupo de padres de familia ha propuesto eliminar el curso de Educación
Física. Según ellos, este curso es una pérdida de tiempo respecto de cursos mucho más
importantes como Comunicación o Matemática. ¿Estás de acuerdo con eliminar el curso de
Educación Física? Escribe una carta a esos padres en la que expongas tu opinión y en la que
ofrezcas al menos dos razones que la fundamenten”.
Además, por los motivos que ya se han expuesto, se propone revisar la información que se
reportará a partir de la aplicación definitiva de la consigna piloteada e, incluso, considerar la
posibilidad de no aplicarla.
Consigna “Argumentación carta de pedido”
En esta consigna (“El Director de tu escuela ha conseguido mucho dinero para construir algo
en tu colegio. ¿Qué le pedirías que construya? Escríbele una carta en la que expongas dos
13
razones que fundamenten tu pedido”), se observa, como ventaja en relación con la
seleccionada, la inscripción del texto en el género carta formal, al que los estudiantes de sexto
grado pueden tener una aproximación bastante cercana.
Como desventaja, se señala la ausencia de una situación a la cual adherir u oponerse en una
tesis. Para próximas aplicaciones, la consigna podría reformularse aproximadamente de este
modo: “El Director de tu escuela ha conseguido mucho dinero para tu colegio y decidió
invertirlo todo en pintar las paredes. ¿Estás de acuerdo con que gaste todo el dinero en
pintura? Escríbele una carta en la que expongas tu opinión y des al menos dos razones que la
fundamenten”.
Consigna “Argumentación sobre padres que pegan a sus hijos”
Como consigna, “El periódico de tu localidad te ha pedido que escribas un artículo sobre el
siguiente tema: ¿Estás de acuerdo con que los padres les peguen a los niños cuando estos se
portan mal? Escribe tu artículo proponiendo al menos dos razones que fundamenten tu
opinión”, tiene la ventaja de que propone inscribir el texto en un género. Sin embargo, ese
género es de tan alta dificultad para sexto grado (por la generalidad de los destinatarios, por la
posición enunciativa que exige al autor y por su estructura típica) que no sería conveniente
evaluarlo. Tal vez, se podría demandar la escritura de una carta de lector, aunque la tarea no
deja de ser más compleja que la producción de una carta formal de solicitud.
Por otra parte, considerando el nivel de desarrollo afectivo y cognitivo de los niños de sexto, se
ve complicada la separación entre sus propias razones y las que transmiten los padres (o las
personas a su cargo) al inculcarles valores. En el corpus se ha observado una cantidad
considerable de casos en los que los niños se apartan de la argumentación para comentar
cómo los padres dan el ejemplo o saben qué merece un castigo, o para narrar anécdotas y
plantear situaciones personales.
En suma, se sugiere revisar el género y el tema de esta consigna para aplicaciones futuras.
Conclusión
En este informe se ha analizado la información que puede ofrecerse a partir de las consignas
de producción escrita piloteadas.
Por un lado, se ha detallado información que podría ser útil e interesante recabar y que
todavía no ha sido contemplada en las rúbricas. Ignoramos hasta ahora si alguna de esa
información que se sugiere añadir ya fue descartada por el equipo técnico de la UMC durante
el proceso de codificación por determinadas razones.
14
Por otro lado, se ha detallado información que no sería conveniente reportar pues surge del
supuesto de que la consigna exige ciertas características de la producción que, en realidad, no
han sido demandadas.
El texto no se propone como un informe cerrado; al contrario, se procura alimentar el diálogo
con los actores responsables de la evaluación de la escritura de los niños peruanos de sexto
grado.
Producto 2. Informe sobre las rúbricas, el Manual y el protocolo de
aplicación y sugerencias para evaluar el contenido
En este informe se realiza en primer lugar una comparación, en términos de avances, entre la
evaluación de escritura de sexto grado que implementa Perú en 2013 y las que realizan otros
países y los organismos internacionales de evaluación de la calidad educativa.
15
En segundo lugar, se analizan las rúbricas y el Manual en cuanto a las dimensiones y los
criterios de evaluación y los indicadores incluidos en cada criterio6, en relación con las pruebas,
los datos entregados a la consultora obtenidos en la aplicación piloto, el Marco de trabajo de
la UMC y también en relación con el diseño curricular vigente, las Rutas del Aprendizaje y el
Mapa de Progreso de escritura. Además, se abordan las indicaciones para el estudiante y para
el aplicador.
Finalmente, se hacen algunas propuestas para abordar el contenido de los textos y,
específicamente, medir su originalidad.
1. La evaluación de la escritura en Perú y en otros contextos
En este punto se ha solicitado efectuar realizar un análisis crítico de los principales avances en
las evaluaciones de otros países y multinacionales en lo que respecta a la competencia de la
producción escrita, haciendo énfasis en las rúbricas de corrección aplicadas, el análisis que se
efectúa con cada una de ellas y la información que se reporta. Sin embargo, hasta el momento,
solo se ha logrado contar con tres rúbricas por razones de confidencialidad. Por esta razón,
comparamos más globalmente la evaluación de la escritura que implementa Perú en 2013 y las
que realizan otros países y los organismos internacionales de evaluación de la calidad
educativa, y esperamos completar el punto para la fecha de entrega de los productos 3 y 4.
Como bien señala en su Marco de Trabajo el equipo de Comunicación de la UMC, “el camino
explorado en dicha competencia [la evaluación de la escritura] es todavía bastante limitado y
requiere de mucha mayor investigación (2013: 2).
Como sabemos, salvo el SERCE y el TERCE, las evaluaciones multinacionales no evalúan la
escritura en sí, sino como cómo a través de esta se evidencia la competencia lectora.
En nuestra región, los países que evaluaron la escritura desde 2005 hasta la fecha fueron
Argentina, Chile, Colombia, México y Perú.
La evaluación que realiza la Argentina en sexto grado, así como al término de la educación
secundaria, llama al área “Lengua”, pero solo evalúa la lectura. El modelo tomado es el de
PISA. Se reportan respuestas correctas, parcialmente correctas e incorrectas, por ejemplo, en
el nivel de desempeño “Identificar una relación de causa consecuencia en un texto de
divulgación científica de circulación masiva”. Sin embargo, en los informes para docentes, se
dice evaluar la escritura y se muestran algunos ejemplos de problemas de escritura a partir de
respuestas a preguntas semi-abiertas de la prueba de Lectura. Por ejemplo: “El siguiente
6 En este informe, para facilitar la comunicación, llamaremos “dimensión” al aspecto global que se busca
evaluar; por ejemplo, Proceso de composición o Adecuación a la situación comunicativa;
denominaremos “criterio” a cada uno de los aspectos que se evalúan dentro de una dimensión; por
ejemplo, dentro de Coherencia, Mantenimiento del tema y Estancamiento; finalmente, usaremos
“indicador” para hacer referencia a la expresión de evidencias empíricas en cada uno de los niveles de
desempeño de un criterio; por ejemplo, “El texto no presenta digresiones”.
16
ejemplo también es correcto, pero es interesante observar que el alumno no maneja
correctamente la noción de registro lingüístico, y emplea algunas expresiones informales no
apropiadas para la lengua escrita como ‘nos colgamos en la nuestra’. Es importante trabajar en
clase las diferencias de registro para que el alumno comprenda que los textos académicos
requieren un lenguaje formal” (ONE, 2011, 17). Es evidente que la falta de horizonte de estos
comentarios no ayuda en nada ni a tomar decisiones de política educativa ni a mejorar las
prácticas pedagógicas.
Argentina solo reporta resultados nacionales y por región (por ejemplo, la comparación de la
puntuación de una provincia de la región patagónica con otras provincias de la misma región).
El criterio es meramente político.
Chile aplicó una nueva evaluación de la escritura en forma exploratoria en 2012, a una muestra
de estudiantes de sexto grado. El reporte expresa que se han evaluado las siguientes
habilidades:
“-Producir distintos textos, como cartas, noticias, artículos informativos y narraciones no
ficticias; que sean comprensibles; tengan propósitos comunicativos definidos, como
manifestar opinión, informar o narrar experiencias reales, y que se adecuen al
destinatario.
-Organizar los textos de forma clara y apropiada para el propósito comunicativo.
-Presentar ideas coherentes, desarrolladas mediante la incorporación de descripciones o
informaciones relevantes que mantengan el tema central.
-Incorporar vocabulario variado y preciso.
-Utilizar adecuadamente las convenciones propias del español relativas a ortografía literal,
acentual y puntual”. (SIMCE, 2012: 5). La consigna fue solo una: “Una revista escolar premiará
las mejores historias de paseos realizados por estudiantes. El paseo puede ser de curso,
familiar o con amigos. Recuerda el mejor paseo que hayas tenido, y escribe un texto en el que
cuentes lo que lo hace inolvidable, para enviarlo a la revista”. Como se ve, la consigna no tiene
género y da por hecho que una historia familiar o con amigos es necesariamente de interés
periodístico. Por otra parte, es confuso que solo se pida contar “lo que lo hace inolvidable”.
La evaluación no fue procesual. Además, las habilidades se reportan sin distinción ni
ponderación, pues se emplean rúbricas holísticas, inferimos que semejantes a las propuestas
por el National Assessment of Educational Progress. El argumento es el siguiente: “De este
modo, se evita la evaluación desagregada de aspectos específicos de los textos escritos por los
estudiantes (como ortografía, vocabulario o desarrollo de ideas)” (SIMCE, 2012: 8). Así, el
reporte de resultados asume (erróneamente, como han demostrado varios estudios) la co-
variación de todas las habilidades evaluadas y no determina específicamente qué se ha logrado
y qué falta mejorar. Los resultados que se reportan son el puntaje promedio a nivel nacional y
regional, y el puntaje promedio según el grupo socioeconómico, la dependencia administrativa
y el género del estudiante.
17
En 2012, Chile promete que “a partir del año 2013, se aplicará una nueva prueba SIMCE de
Escritura a todos los estudiantes del país que cursen 6. º básico. Antes de la aplicación, en la
página web de la Agencia (www.agenciaeducacion.cl), se pondrá a disposición de docentes y
directivos, el documento Orientaciones SIMCE Escritura 6. ° básico 2013, que contendrá las
características de la evaluación que se aplicará este año”. No obstante, a la fecha, en la URL
citada nada se dice sobre la evaluación 2013 de la escritura.
Colombia, que a comienzos de la década pasada había iniciado procesos de evaluación de la
escritura, plantea ahora en sus pruebas preguntas de selección múltiple sobre ella, del tipo
“qué hacer antes de comenzar a escribir un texto”. Las pruebas iniciales usaban una rúbrica
semi-analítica del tipo de la que mostramos a continuación y no eran procesuales:
Este tipo de rúbrica volvió a ser usado por la Secretaría de Educación de Bogotá en 2005-2007,
para indagar producciones procesuales durante las cuales los estudiantes podían consultar
materiales adicionales. La pequeña escala de esta evaluación externa permitió realizar un
trabajo bastante profundo con las escuelas en torno de los resultados, entre una evaluación y
otra.
18
En cuanto a México, toma el modelo de la Australasian Schools Writing Competition y propone
una evaluación analítica y criterial. Los criterios se organizan en cuatro secciones:
características inherentes al modo discursivo (que dependen de si el texto es descriptivo,
narrativo o argumentativo); características de la textualización (como la estructura de las
oraciones, el uso de conectores y referentes); características sintácticas (como la concordancia
y el uso de preposiciones) y, por último, las convenciones locales. El argumento es que la
“evaluación analítica da cuenta del nivel de ejecución de los alumnos en los aspectos
medulares que componen una habilidad tan compleja como es la Expresión escrita, y con esto
ofrece información valiosa de sus fortalezas y debilidades, cuestión importante tanto para el
diagnóstico como para la enseñanza. […]. La evaluación analítica proporciona una información
más detallada de los diferentes aspectos de la Expresión escrita y, en el caso del INEE, puede
dar cuenta de los contenidos presentes en el currículo vigente en el Sistema Educativo
Nacional” (INEE, 2006: 22-23). Coincidimos con México en cuanto a las ventajas del uso de
rúbricas analíticas.
El INEE sostiene también que, como los Excale son pruebas criteriales, puede calificarse a cada
estudiante sin considerar su edad o su habilidad y tomando en cuenta solo el criterio. Por esta
razón, se evalúa con la misma escala a estudiantes de sexto de primaria y de tercero de
secundaria. Así, las dimensiones varían según el tipo de texto. Veamos: los estímulos son seis,
graduados según su dificultad: escritura de cinco palabras temáticamente relacionadas, copia
de un aforismo y su autor, texto breve (tres oraciones cohesionadas, en futuro), texto
descriptivo, texto narrativo (carta informal) y texto argumentativo (carta formal). Desde el
estímulo texto breve en adelante, se aplica la cohesión pero sólo a la escritura de cartas
narrativas y argumentativas se aplican el formato y la efectividad de la respuesta (registro más
creatividad para conmover o persuadir). Las rúbricas utilizadas para ser aplicadas según el
estímulo y el criterio fueron en total 40 y han sido sintetizadas en un informe de resultados. Se
trata de rúbricas dicotómicas. Por ejemplo:
A partir de los logros obtenidos se elaboraron cinco niveles de logro que integran los
diferentes criterios comunes a ambos grados; por ejemplo: “Nivel III. Los estudiantes que se
ubican en este nivel utilizan las formas lingüísticas características de los discursos narrativos,
descriptivos y argumentativos; sin embargo, sus textos no revelan una planeación previa en
cuanto a estructura y desarrollo de las intenciones comunicativas. Del mismo modo, si bien
pueden estructurar los párrafos de los textos en torno a una oración temática y dominar la
19
segmentación de las palabras, siguen cometiendo faltas de ortografía y utilizando puntuación
de manera no convencional”. También se valora positivamente que se muestren los
instrumentos de evaluación usados y que la evaluación analítica haya dado lugar a una síntesis.
Cabe añadir que de los procesos de elaboración de la prueba e interpretación de resultados
participaron 60 profesionales del INEE (sin contar los asesores y consultores externos, los
codificadores, etc.).
Puede realizarse una primera crítica a esta prueba: ¿cómo pueden ser idénticos los criterios
para evaluar a un niño de sexto de primaria y a otro de tercero de secundaria? Evidentemente,
el currículo mexicano (que ha sufrido una modificación después de esta aplicación, aunque no
en el sentido que apuntamos), presenta, como la mayoría de los currículos de nuestra región,
ausencia de indicadores que evidencien la gradualidad del aprendizaje y el espiralamiento
necesario de los contenidos. En este sentido, los mapas de progreso parecen superadores
como currículo prescripto y también como insumo para las unidades de evaluación.
En la región, la primera evaluación masiva y externa de la escritura mediante un instrumento
analítico fue elaborada y coordinada por la consultora en el año 1996, en el marco del Diseño
de un Prototipo de Evaluación de la Calidad de la Educación para la Provincia de Buenos Aires.
A través de un convenio entre la Dirección General de Educación de dicha provincia y la
OREALC/UNESCO, se decidió implementar la primera evaluación de valor agregado en América
Latina, lo que supone tomar dos pruebas a los mismos estudiantes; la primera, para trazar la
línea de base y la segunda para determinar los aportes de la escuela con control del nivel
socioeconómico, después de un período de dos años.
La consultora no había trabajado hasta el momento en la elaboración de pruebas externas, por
lo que le pareció “natural” proponer la medición de la lectura, la escritura y la escucha. Gracias
a la colaboración de un experto argentino y a las capacitaciones ofrecidas por la OREALC para
Lectura, la consultora llegó a la conclusión de que la evaluación de la escritura sería aceptada
sólo si los puntajes en cada criterio eran 1 o 0 o bien rangos de frecuencia. La investigación
realizada previamente había descartado el uso de instrumentos holísticos por considerar que
no entregaban datos que pudieran usarse para reportar qué aspectos debían reforzarse y
tanto la provincia como la OREALC aceptaron los argumentos. También había desechado el
empleo de las rúbricas semi-análiticas como la 6+1, por considerar que, a mayor cantidad de
niveles de desempeño, mayor dificultad para la formación de evaluadores y más posibilidades
de hallar niveles que no discriminaran y más dificultades para “emparejar” los resultados en
Lectura y en Escritura.
Las consignas planteadas demandaron la descripción enciclopédica del perro y el gato en
séptimo grado de primaria (12 años) y fueron procesuales. La consigna con el tema perro fue
retomada casi sin cambios en el SERCE. El instrumento usado para la codificación fue muy
similar al del SERCE. De hecho, las diferencias radican en aspectos que en el SERCE no pudieron
ser evaluados por inconsistencias entre correctores detectadas en la piloto y que Perú retoma:
puntuación, tildación y sintaxis.
Como se trataba de un prototipo con fondos limitados y la resistencia a la evaluación externa
era durísima, la consultora hizo una propuesta que las autoridades aceptaron, pero que
condujo a la entrega de resultados demasiado tiempo después y con un desgaste insuperable.
20
La propuesta fue capacitar a docentes de la provincia en los marcos teóricos vigentes sobre el
proceso de escritura, a lo largo de varios meses, viajando a cada localidad; el curso, con
resolución de la Dirección General de Capacitación, otorgaba puntaje si era aprobado, pero
para aprobar, el docente cursante debía obtener 9 o 10 al corregir 100 pruebas. De este modo
ingenuo, se buscaba asegurar la consistencia: la tercera parte de las pruebas dadas a cada
docente era corregida también por la consultora junto con un equipo de 6 lingüistas
contratados y capacitados.
Se elaboró un solo informe, en 1999, referido solo a los resultados en escritura. Los resultados
se reportaron solo analíticamente, pues persistía cierta confusión entre evaluación y
formación docente. Cambios en la Dirección General de Escuelas y en el ya constituido Sistema
de Evaluación, impidieron el reporte de datos sobre valor agregado en escritura. De todos
modos, para la asignación de un puntaje al estudiante no se había estudiado un sistema de
ponderaciones, a diferencia de lo que acertadamente propone Perú.
Durante este proceso tuvimos un intercambio académico con Uruguay, y su equipo de
evaluación, entonces dirigido por Pedro Ravela, se interesó por nuestra forma de evaluar la
escritura. Eso llevó, imaginamos, a que en el marco del SERCE la iniciativa de reemplazar las
consignas de compleción por la escritura de textos completos fuera tomada por Uruguay.
El mismo año en que la consultora fue designada coordinadora de Lectura y Escritura del
SERCE, realizó una consultoría en Perú. La relectura de los documentos compartidos y las
recomendaciones muestra su persistencia en el empleo de rúbricas analíticas
predominantemente dicotómicas. El Informe pedagógico de resultados [sobre] Producción de
textos escritos publicado por la UMC en 2006 evidencia que el equipo de Comunicación y la
consultora acordaron en gran medida que las rúbricas analíticas ofrecen información más
valiosa para la transformación de las prácticas docentes.
Respecto del SERCE, como es sabido, los sucesivos cambios de conducción afectaron el
proceso de elaboración y codificación de las pruebas de escritura. Con un contrato de U$ 500,
la consultora analizó los datos sin colaboradores y escribió el informe final. Todos los
colaboradores citados en el reporte hicieron lecturas críticas o aportes puntuales ad honorem,
salvo quien procesó los datos. Se tenía el propósito de calcular niveles de desempeño en
escritura, pero la responsable no maneja el Modelo de Rasch y ya se daba inicio el TERCE con
un nuevo equipo, por lo que el trabajo quedó trunco. Aunque se ofreció al nuevo equipo
colaborar con él, solo tuvo lugar un breve intercambio, en Bogotá. Ignoramos entonces hasta
el momento si existen puentes entre el SERCE y el TERCE en la evaluación de la escritura.
Respecto de cómo se imaginaba adjudicar puntajes y establecer niveles de desempeño con
Rasch, puede decirse que dimensiones como el proceso de escritura iban a dejarse de lado y
que los indicadores referidos a los aspectos más locales iban a ser ponderados con un puntaje
menor, tal como está trabajando Perú en estos momentos.
La evaluación de la escritura que emprendió la UMC para el año 2013 da un salto cualitativo
pues mantiene las rúbricas analíticas, pero supera los ítems dicotómicos sobre la base del
análisis del comportamiento de varios niveles de desempeño durante el pilotaje. Así, los
niveles en los que se desagrega cada criterio de cada dimensión resultan confiables y no solo
21
más pormenorizados. Con esto queremos decir, por ejemplo, que ya se ha controlado el sesgo
de marcar, de tres opciones, la intermedia y que puede reportarse con certeza una escala de
tres grados de coherencia textual. Por otra parte, como se ampliará más adelante, se añade la
evaluación del contenido de los textos, que puede resultar sumamente interesante.
Solo se sugiere, si no ha sido considerado ya, establecer algunos cruces entre criterios de la
prueba de escritura (por ejemplo, la relación entre la coherencia y la ortografía o entre la
narración y la argumentación) y entre criterios de escritura y factores asociados (por ejemplo,
contenido y nivel socio-económico o cantidad de palabras y género), que permitan explorar
nuevas hipótesis.
2. Las rúbricas, el Manual y las indicaciones
2.1. Las rúbricas: dimensiones, criterios de evaluación e indicadores de acuerdo con las
consignas, los datos, el Marco de Trabajo y los documentos curriculares
Este apartado se centra en las rúbricas. A la luz de las consignas escogidas para la aplicación
final, de los datos estadísticos ofrecidos a la consultora, del Marco de trabajo del equipo de
Comunicación de la UMC y de los documentos curriculares, analizamos las dimensiones y los
criterios o subdimensiones evaluadas, así como los indicadores que describen cada nivel de
desempeño. Cuando se lo considera pertinente, se hacen sugerencias de mejora. En la
exposición, seguimos el orden que las dimensiones y los criterios tienen en las rúbricas.
Filtros
En el Producto 1, a partir de analizar las consignas, las rúbricas y los casos dados a la
consultora, se ha planteado la posibilidad de modificar los filtros para medir dimensiones
locales (Manejo de la variedad estándar y Convenciones de legibilidad) en los niveles 1 y 2 y,
con ello, evitar la caída de la muestra (142 casos en la piloto). Además, la reformulación del
nivel 2 posibilita captar la persistencia de una práctica pedagógica perimida. La sugerencia es
la siguiente:
Dimensión Criterio Indicadores
Filtro Texto N 3: Lo escrito en uno de los espacios o en ambos es un texto. N 2: Lo escrito en uno de los espacios o en ambos es una serie de oraciones sin ligazón entre sí. N1: Lo escrito es una copia de la consigna o se encuentra en otra lengua o en un código no verbal.
El conteo de palabras seguiría a este filtro y en la dimensión Cohesión textual, se anticiparía lo
siguiente: “Aplicar sólo si el texto tiene al menos 40 palabras”. (Se considera que un texto
puede ser coherente con menos de 40 palabras).
22
El proceso de composición
En relación con la dimensión El proceso de composición, se toma en cuenta la decisión
preliminar del equipo de la UMC de eliminar el criterio “¿Usó el espacio del borrador para su
texto definitivo?”. Al respecto cabe señalar que ese indicador solo aparece en la rúbrica
correspondiente a los textos argumentativos. Entonces, antes de tomar la decisión final, se
sugiere revisar si se han enviado a la consultora rúbricas de dos momentos diferentes del
proceso de trabajo (es lo que sugieren los datos de frecuencia en el documento Sinopsis de
decisiones preliminares) o si el criterio se ha piloteado sólo en argumentación.
Por otra parte, también en la dimensión El proceso de composición, se ha sugerido incluir un
criterio para indagar la comprensión del uso del borrador (lógicamente, este criterio no
entraría en la adjudicación de puntaje):
Dimensión Criterio Indicadores
El proceso de composición
Uso del borrador como tal
N 2: El borrador es un texto para el escritor: es un esquema o un cuadro, o carece de líneas dibujadas con regla para asegurar la caligrafía o de adornos en el título u otras partes. N 1: El borrador es un texto para otros: está escrito de corrido sobre líneas dibujadas con regla o muestra marcas de presentación final, como títulos adornados o ilustraciones.
En el punto siguiente hacemos algunas consideraciones sobre el modelo adoptado para la
evaluación del proceso de composición.
Adecuación a la situación comunicativa
Para la dimensión Adecuación a la situación comunicativa, se ha sugerido añadir el criterio
Género discursivo para los textos narrativos, pues la consigna de escritura ofrecida explicita
que se espera un texto inscripto en el género del cuento:
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Género discursivo
N 3: El texto es un cuento y presenta al menos una situación central o complicación, que puede estar ubicada después de la situación inicial (“Todo estaba bien hasta que, de pronto...”) o al inicio del relato (“Despertó y se vio en medio de la selva rodeado por jaguares”). N 2: El texto narra una serie de acciones pero ninguna de ellas constituye una complicación de la situación inicial (explícita o implícita). N 1: El texto no es un cuento: es una descripción o una explicación o una argumentación o una combinación de secuencias textuales en las que la narración no predomina.
Lo anterior lleva a replantear el criterio Secuencia textual narrativa, que solo se aplicaría a los
textos ubicados en los niveles 3 y 2 de Género:
23
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Secuencia textual narrativa
N 3: El texto presenta al menos tres acciones nucleares cronológicamente organizadas/con una cronología lineal. N 2: El texto presenta solo dos acciones nucleares cronológicamente organizadas/con una cronología lineal. N 1: El texto presenta una sola acción o presenta dos o más, pero sin orden cronológico (primero el niño muere y después está vivo; el niño está en su casa y, sin pasaje, aparece a continuación perdido en la selva).
Paralelamente, considerando la consigna seleccionada para la aplicación final, en el Producto 1
se ha sugerido eliminar el criterio Género de la rúbrica para textos argumentativos, así como la
noción de tesis en el sentido de proposición desarrollada que se sostiene con argumentos.
Ahora se observa también una superposición entre el modo en que se han evaluado la
Secuencia textual argumentativa y el Contenido de los textos argumentativos pues si “el texto
explicita una opinión a partir de la consigna y la fundamenta” (Nivel 3 de Secuencia), entonces
“los argumentos se basan en hechos plausibles y guardan una relación lógica con la
tesis/opinión” (Nivel 3 de Contenido).
Es asimismo cuestionable que se separe en otro criterio la Cantidad de argumentos. Por un
lado, estos constituyen la fundamentación que es parte de la secuencia. Por otro lado, se
superponen conceptualmente los indicadores “El texto explicita una opinión a partir de la
consigna pero no fundamenta” (Nivel 2 de Secuencia argumentativa) y “No fundamentó su
opinión” (Nivel 1 de Número de argumentos: 61 casos). Lamentablemente, en los resultados
no puede apreciarse la frecuencia correspondiente al Nivel 2 de Secuencia argumentativa,
porque ha sido sumada a la narrativa. Sin embargo, en los textos narrativos no se ha
contabilizado aparte la cantidad de acciones nucleares: como los argumentos en una
argumentación, las acciones son parte de la secuencia narrativa y así se las ha tomado.
En suma, para Secuencia textual argumentativa, se sugiere lo siguiente. En primer lugar, a falta
de género explícito, evaluar la presencia del tipo de texto:
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Tipo de texto N 2: El texto es argumentativo. N 1: El texto no es argumentativo: es una descripción o una explicación o una narración o una combinación de secuencias textuales en las que la argumentación no predomina.
En segundo lugar, con el propósito de tratar la secuencia completa como se ha hecho en
narración e incluir los casos que podrían quedar afuera por fallas de la consigna, se propone lo
siguiente:
24
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Secuencia textual argumentativa
N 3: El texto presenta la formulación de una opinión completa (“Estoy de acuerdo/no estoy de acuerdo con la eliminación de Educación Física”) y dos o más razones que la fundamentan. N 2: El texto presenta la formulación de una opinión completa o incompleta, seguida de una razón que la fundamenta. N 1: El texto presenta solo una opinión, completa o incompleta, o solo una razón, o las razones contradicen la opinión o se contradicen entre sí y entonces no fundamentan.
En este punto parece importante hacer referencia a las discrepancias que los documentos
curriculares presentan en torno de la argumentación (entre otras). El Diseño Curricular 2009 no
menciona la escritura de textos argumentativos ni en IV Ciclo ni en V Ciclo. Se mencionan los
“textos informativos, instructivos, poéticos, dramáticos” y “los textos discontinuos y de diverso
tipo”, evidenciando confusión entre propósitos, géneros y formatos. En el Diseño subyacen
aplicacionismos no solidarizados de la teoría del desarrollo piagetiana, de la Psicología cognitiva, la
Pragmática y la Gramática del texto, a los que se suman categorías tomadas de pruebas
internacionales, como “textos continuos y textos discontinuos”. Hablamos de aplicacionismos
porque diferentes hallazgos de diferentes disciplinas de referencia se bajan al aula sin que se los
haya diseñado para la enseñanza y sin que su eficacia pedagógica haya sido suficientemente
probada.
Las Rutas del aprendizaje, por su parte, parecen menos eclécticas y ponen el acento en procesos
descriptos por la Psicología cognitiva; sin embargo, no remarcan que la dificultad de esos procesos
varía en relación con los textos que se escriben y los contextos que exigen optar por ciertos textos;
así, predominan las expresiones “textos variados”, “diversos tipos de textos” como complemento
de los procesos. En relación con la argumentación y como parte de un ejemplo, se lee: “Escribir
una carta a las autoridades e instituciones regionales para que les puedan donar diversos textos
para la biblioteca de la escuela” (Rutas del aprendizaje: 49). El uso del modalizador “poder” en
“puedan donar” quita matiz argumentativo al ejemplo, pero incluso así podría inferirse que se
trata de escribir una carta de pedido convincente. Sin embargo, la evidencia de que se ha logrado
escribir dicha carta es la siguiente: “En la redacción de la carta deberán tener en cuenta el
formato, lenguaje y contenido que va a presentar en el texto” (sic) (Rutas del aprendizaje: 50).
Como se ve, la alusión a la argumentación y a la situación en la que resultaría eficaz está ausente.
En el Mapa de progreso de Comunicación, en el nivel IV se menciona “Expresa sus opiniones y
argumenta utilizando fuentes de información complementarias”; la argumentación está presente
pero sin género, como en la consigna elegida; el único género es la noticia: “Escribe una noticia de
interés público, estructurada en párrafos, considerando la fecha, el lugar, las personas y los
hechos, utilizando la tercera persona”. Sin embargo, como ejemplo del nivel, se ofrece una carta
predominantemente argumentativa.
Cabe aclarar que la observación sobre el conjunto de los documentos curriculares peruanos se
extiende a la mayoría de (o a todos) los currículos latinoamericanos.
En opinión de la consultora, el Marco de trabajo del equipo de Comunicación de la UMC, así como
sus pruebas, sus rúbricas y su Manual 2013 subsanan los aplicacionismos y las divergencias
25
señalados, pues parten del contexto de producción o situación, pasan al texto y llegan al nivel de
la gramática, el léxico y las grafías con una lógica que puede observarse en modelos completos
que sí se han probado largamente en las aulas, como el de la Lingüística Sistémico Funcional.
Siguiendo esta línea, en el Producto 1 se han hechos dos observaciones en relación con lo que
Halliday llama “contexto de cultura”: la ausencia de género en la consigna argumentativa elegida
para la aplicación final y el sesgo urbano de algunas consignas. Más allá de eso, se valora muy
especialmente la coherencia del modelo adoptado.
Ahora bien, cabría preguntarse si un marco de trabajo como el elaborado es capaz de crear
conflictos o tensiones con los equipos a cargo del diseño curricular. La exposición del proceso de
escritura, por ejemplo, excede en mucho lo prescripto y los descripto en los diseños curriculares;
la relación –y particularmente la distinción– planteada entre coherencia y cohesión también
excede lo que en los documentos se nombra como un bloque: “coherencia y cohesión”. Sin dudas,
el lector inscripto en el Marco de trabajo es mucho más experto que el lector de los documentos
curriculares y los cuadros incluidos en el Anexo 4 para mostrar los paralelismos entre la
evaluación y los documentos curriculares no parecen suficientes para disimularlo. La
consultora no está en capacidad de predecir posibles impactos, por lo que se limita a sugerir que
los conceptos vertidos en el Marco dados por conocidos y que no aparecen en los documentos
curriculares sean aclarados (por ejemplo, “memoria a largo plazo” aparece solamente en Rutas del
aprendizaje y no figura “memoria de trabajo” y las máximas de Grice no se abordan en ningún
documento)7. Esta sugerencia apunta a ampliar el auditorio, no solo en Perú, sino también en la
región.
Retomando el análisis de las rúbricas, también dentro de la dimensión Adecuación a la
situación comunicativa, se sugiere revisar el indicador de Nivel 1 del criterio Tema: “Escribe
sobre un tema que no tiene que ver directamente con el solicitado”. Los ejemplos dados en el
manual prescriben que un texto que toma el tema lateralmente (la Educación Física y no la
eliminación de la Educación Física), deben incluirse en el Nivel 2. Por tanto, sería más claro
redactar el indicador de Nivel 1 del siguiente modo: “Escribe sobre un tema que no tiene
ninguna relación con el solicitado”.
En cuanto al criterio Registro, en el Producto 1 se ha señalado que, ante una consigna
argumentativa que no prescribe la inscripción del texto en ningún género, resultaría arbitrario
penalizar el uso de un registro correspondiente a géneros orales. Además se ha sugerido
extender la evaluación de Registro a la consigna narrativa porque los cuentos han de
presentarse en un concurso. Los indicadores podrían ser los siguientes:
7 En el Marco hay algunas conceptualizaciones y algunos usos que tal vez merezcan revisión: el uso de “capacidad” (tomado de los documentos curriculares, ciertamente, pero que a diferencia de “habilidad” está asociado a la “incapacidad”); la afirmación de que se mide si el estudiante “Evalúa la adecuación de su texto a los objetivos originales”; la superposición entre “Modela una red temática ajustada a las expectativas del lector” y “Modela argumentos lógicamente consistentes”; la afirmación de que el texto argumentativo responde sólo a la pregunta “por qué” y la formulación de indicadores encabezados por “no”.
26
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Registro N 3: El registro es adecuado en todo momento. N 2: Se observa el uso de una palabra, construcción o contracción propia de contextos muy informales o el empleo de una abreviatura. N 1: Se observa el uso de al menos una palabra, construcción o contracción propia de contextos muy informales y además el empleo de al menos una abreviatura.
Coherencia
Pasando a la dimensión Coherencia, se ha sugerido añadir un criterio (separándolo de
Cohesión) por razones conceptuales que, vemos ahora, están destacadas en los documentos
curriculares: “Cuando se habla de lo textual se trata de la concordancia con la lingüística del
texto que lo considera como unidad lingüística de comunicación”. (Diseño Curricular 2009 III:
167). Cabe aclarar que se presupone que la coherencia –así como la cohesión– se evalúa en
todos los textos, argumentativos y narrativos, pero también descriptivos, explicativos, etc.
Dimensión Criterio Indicadores
Coherencia Texto como unidad comunicativa
N 2: El escrito constituye una unidad comunicativa por su sentido pleno. N 1: El escrito no constituye una unidad comunicativa porque presupone el conocimiento de la consigna o da por presentados referentes clave que no pueden reponerse (“Porque nos divertimos mucho y entrenamos nuestro cuerpo”/ “Él se perdió en la selva y él comenzó a perseguirlo”).
Además, por la simple razón de que los codificadores automatizan o la evaluación de aciertos o
la evaluación de desaciertos, se propone emplear dos términos positivos al denominar los
criterios: por un lado, Mantenimiento y por otro, Avance o Progresión, en vez de
Estancamiento. En opinión de la consultora, esta observación es válida también para los
indicadores. Así, en lugar de “El texto no presenta
transgresiones/digresiones/estancamientos”, etc., conviene formular indicadores como “El
texto mantiene en todo momento un registro adecuado”/ “El texto se organiza en todo
momento alrededor de una misma red temática”/ “La información del texto progresa sin
interrupciones”.
En cuanto a la decisión de eliminar de Coherencia el criterio Contradicciones, a partir de haber
notado contradicciones y saltos en algunos casos de textos narrativos, se ha propuesto incluir
las contradicciones en el Nivel 1 de los criterios Secuencia textual narrativa y Secuencia textual
argumentativa, respectivamente.
Respecto del Nivel 1 de los criterios Mantención y Estancamiento, respectivamente, a las
razones conceptuales dadas en el Producto 1 se suman ahora evidencias empíricas que
reafirman la conveniencia de colapsarlo con el Nivel 2.
27
Cohesión textual
En la dimensión Cohesión textual, criterio Cohesión léxico-gramatical, los resultados muestran
sólo 51 casos en el Nivel 1, lo que sugeriría que está sub-representado. Asimismo, se observa
un número alto de casos, de acuerdo con la experiencia de la consultora, en el Nivel 4: 950. Sin
embargo, los niveles conceptualmente más cercanos por los indicadores que los describen son
el 2 y 3, que reciben, respectivamente, 569 y 590 marcaciones, cantidades muy próximas.
¿Discriminan?
Al respecto, en el Manual se ha hecho un esfuerzo importante para describir y ejemplificar los
cuatro niveles, pero algunas distinciones parecen muy finas para el momento de la corrección:
probablemente, los codificadores tiendan a superponer la omisión y/o el uso fallido de nexos y
conectores con la omisión y/o el uso fallido de pronombres que no son nexos y referentes
ausentes en frases del tipo “el mismo” o “lo anterior”. Nótese que en el actual indicador de
Nivel 2 “palabras” puede abarcar “nexos” y “conectores” y que en las definiciones al pie de
“referentes” y “nexos” resultan superpuestos ciertos pronombres.
Además, se ha sugerido revisar este criterio porque en la rúbrica los indicadores se basan en la
presencia de referentes (incluidos los que hacen a la autonomía de significado del texto),
palabras, nexos y conectores y omiten su uso fallido, así como las repeticiones injustificadas de
palabras, aun cuando los documentos curriculares contemplan el “vocabulario variado”: “Al
término del IV ciclo se espera que los estudiantes logren alcanzar el siguiente estándar de
aprendizaje. Lee comprensivamente textos que presentan estructura simple con algunos
elementos complejos y que desarrollan temas diversos con vocabulario variado […]” (y lo
mismo al término del V Ciclo) (Rutas del aprendizaje, Comunicación: 24). A falta de datos
estadísticos finales de consistencia entre correctores, se propone revisar los porcentajes y
evaluar reformulaciones como la siguiente:
Dimensión Criterio Indicadores
Cohesión textual
Cohesión léxico-gramatical
N 3: El texto está plenamente cohesionado: todos los pronombres tienen un referente concordante, todos los nexos y los conectores necesarios para la comprensión están presentes y correctamente usados y se emplean sinónimos de palabras de uso común. N 2: El texto está cohesionado, pero no plenamente: al menos dos pronombres no tienen referente o tienen un referente no concordante, y/o al menos dos nexos o conectores necesarios para la comprensión están ausentes o incorrectamente usados y/o al
28
menos tres palabras de uso común se repiten innecesariamente. N 1: El texto presenta varios problemas de cohesión, aunque no impiden por completo su comprensión: tres o más pronombres carecen de referente o tienen un referente no concordante y/o tres o más nexos o conectores necesarios para la comprensión están ausentes o incorrectamente usados y/o se repiten innecesariamente más de tres palabras de uso común.
Una modificación de este tipo, obviamente, implica rehacer el apartado del Manual
correspondiente a Cohesión textual; en el Producto 1 se ha sugerido restringir el conteo de
palabras repetidas a las clases de los sustantivos, los verbos y los adjetivos y excluir el conector
“y”.
En cuanto al otro criterio de la Cohesión textual, Puntuación, llama la atención la frecuencia
del Nivel 4: 1113 casos, así como la del nivel 2: 34 casos. Se propone considerar la posibilidad
de colapsar los niveles 2 y 3 y la de efectuar un pequeño cambio (destacado) en el nivel 3, a fin
de que el codificador no se “anticipe” a la coma enumerativa: “Se utiliza algún signo de
puntuación de manera adecuada (punto seguido, punto final o coma para separar
suboraciones yuxtapuestas u oraciones), pero comete al menos un error […]”.
Manejo de la variedad estándar
Pasando a la dimensión Manejo de la variedad estándar y al criterio Construcción oracional, en
el Producto 1 se había sugerido eliminar el Nivel 1 por su cercanía con un filtro, pues el
indicador describe un texto que no puede comprenderse. Los datos empíricos ofrecidos en el
documento Sinopsis de decisiones preliminares refuerzan la crítica a la presencia de este nivel.
La decisión de volver cuantitativo el análisis podría ocasionar inconsistencias significativas
entre codificadores ya que el indicador reúne evidencias bien heterogéneas. En este sentido,
se sugiere contemplar también la posibilidad de eliminar el Nivel 1 y recalibrar los niveles 2 y 3.
Por otra parte, parecería necesario reforzar en el Manual la diferencia entre Construcción
oracional y Léxico (el alcance, la unidad de análisis), para que casos como “haiga” no sean
asociados “automáticamente” a Construcción oracional por la sencilla razón de que este
criterio aparece primero.
Respecto de los criterios Léxico y Segmentación (este último de la dimensión Convenciones de
Legibilidad), a partir de los datos estadísticos ofrecidos, coincidimos con el equipo de la UMC
en la conveniencia de reportar valores absolutos.
Convenciones de legibilidad
Para reforzar la consistencia de Número de palabras, se sugiere en primer lugar adelantar
Convenciones de legibilidad, ya que particularmente el criterio Segmentación puede incidir en
29
un conteo incorrecto. Además, se propone indicar al codificador que en el margen del texto
anote la cantidad de palabras que corresponde al título, y a continuación que haga una
pequeña marca cada 10 palabras; la última anotación puede corresponder a un número
inferior a 10. Según nuestra experiencia el título es olvidado con frecuencia y, en los textos
extensos, el conteo se dificulta si se lo quiere hacer de corrido.
Para el criterio Grafías, al que se ha considerado añadir el indicador Uso de mayúscula, se
propone tratar con cuidado en el Manual los casos en que los estudiantes escriben solo en
mayúscula y, particularmente, los que trazan una mayúscula por minúscula sistemáticamente,
como hace este niño con la “p”, a diferencia de la “r” en “Reso” y “echar”:
Cabe agregar que, según la experiencia de la consultora, los codificadores tienden a no ver los
errores en el uso de mayúscula cuando además cuentan los restantes errores ortográficos. En
este sentido, se plantea la posibilidad de inclinarse hacia la decisión de reducir la cantidad de
niveles manteniendo el criterio por separado. El mismo problema de codificación se ha
observado en la tildación, que el equipo ha decidido acertadamente codificar por separado.
Contenido
Pasando finalmente a la dimensión Contenido, se sostienen los argumentos planteados en el
Producto 1 respecto de la arbitrariedad de medir “vicios de razonamiento”. A lo expuesto
puede añadirse que, según los datos del pilotaje, en el Nivel 1 (“Ningún argumento guarda una
relación lógica válida con la consigna”) solo se encuadraron 22 respuestas y, principalmente,
que ninguno de los documentos curriculares hace referencia a tipos de argumentos. En el
punto 3 se hacen, entonces, algunas propuestas para evaluar el contenido.
30
Presentación de las rúbricas
Se observan dos detalles. En primer lugar, tal vez, las rúbricas deberían recordar cuándo no
aplica un criterio. Por ejemplo, para Cohesión, “NA (si el texto tiene menos de 40 palabras)”;
para Coherencia, “NA (si se indicó ausencia de texto)”, etc.
En segundo lugar, en las rúbricas se ponen al pie o en el cuerpo de la tabla con letra más
pequeña descripciones y/o prescripciones tomadas del Manual respecto del alcance de
algunos criterios o indicadores. Se trata sin duda de una estrategia que tiene en cuenta la
tendencia de los codificadores a dejar el manual de lado. No obstante, pensando en la
tendencia a dejar de revisar también las notas al pie, se propone, por un lado, unificar la
ubicación de esas aclaraciones en el cuerpo y, por otro lado, volverlas prescriptivas y lo más
breves posible. Por ejemplo, en vez de la siguiente nota al pie:
Si una palabra es una forma léxica no estandarizada y además contiene un error ortográfico (por ejemplo, <inrecistible> en vez de <irresistible>: la presencia de <n> en la primera es una desviación de la norma estándar asociada a la conciencia que tiene el hablante de la estructura morfológica de la palabra, mientras que el uso de la <c> por <s> es un error de ortografía llano), se contará la forma en el indicador léxico, y no en el indicador ortografía.
se sugiere indicar en el cuadro de Léxico, con letra más pequeña: “Si en una palabra halla, además de un error de léxico, un error de ortografía, cuente solo el primero”.
2.2. El Manual para el codificador
El Manual para el codificador es ordenado y claro, aunque se encuentra actualmente a medio
camino entre las rúbricas aplicadas y el trabajo que se ha ido rehaciendo a partir de la
aplicación piloto. La única crítica general que podría hacérsele, a juicio de la consultora, es la
falta de ejemplos problemáticos tomados de textos reales. En efecto, los ejemplos dados, con
el fin de mostrar la codificación de un criterio por vez, presentan errores solo de ese criterio.
Sin embargo, hay criterios que suelen confundir a los correctores y también casos dudosos:
cuantos más se aborden en el manual, menos serán las consultas y menores las
inconsistencias.
Es cierto que los manuales largos atentan contra la revisión sostenida del codificador; en este
sentido, se propone la selección de casos francamente dudosos, particularmente para los
criterios que se han mostrado más débiles en la aplicación piloto, y su análisis en un anexo. Por
ejemplo, este caso se presta para problematizar si el texto es o no un cuento porque el
conflicto –¿reconocerán los padres al hijo perdido? – se encuentra apenas esbozado; también
sirve para identificar el nivel 1 de la secuencia textual narrativa, pues se narran varias acciones
pero la cronología está alterada: hay un salto narrativo entre el momento en que el niño se
pierde y el momento en que llama a la puerta y una contradicción, ya que se narra primero lo
que se ve tras la puerta (la madre tejiendo lana) y a continuación que se llama a la puerta.
Asimismo, “su papá fue carpintero” es la única digresión y la repetición de “papá no te
acuerdas” tiene un efecto estilístico y no debe computarse como repetición de palabras, entre
otros aspectos.
31
Finalmente, en el Producto 1 se han efectuado comentarios puntuales sobre la descripción de
niveles que ya han decidido eliminarse.
2.3. Indicaciones generales para el estudiante y para el aplicador
Las indicaciones generales para el estudiante provocaron dudas inicialmente porque no
anticipan que el escrito se desarrollará primero en borrador. Ahora, los datos de uso del
borrador (94%) y de uso del borrador como insumo (91%), despejan esas dudas.
En el Manual del aplicador correspondiente a la aplicación definitiva se ve que el al final de los
días dos y tres de aplicación los niños responderán a cada consigna de escritura. Esto
aseguraría que el efecto del cansancio sea igual para las dos consignas.
En cuanto a las indicaciones para el aplicador, se observan dos erratas en el manual, que
seguramente fueron subsanadas durante la capacitación. En la página 2 se afirma que en la
caja 6, correspondiente al tercer día, se encontrará el cuadernillo Escribamos una carta y en la
página 25 la prueba se denomina Escribamos un artículo. Recuérdese que la consigna elegida
no solicita la escritura de ninguno de esos dos géneros.
Por lo demás, las indicaciones para el aplicador son concisas y exhaustivas.
Finalmente, los comentarios sobre las consignas, se realizaron en el Producto 1.
3. Propuestas para evaluar el contenido
32
En primer lugar, debe remarcarse el avance que implica, respecto de las evaluaciones masivas
de la escritura, la inclusión de un criterio referido al contenido. En efecto, criterios como
secuencia, tema, coherencia y cohesión no informan nada acerca del modo en que los
estudiantes abordan los temas y desarrollan las macro proposiciones que componen la
secuencia pedida o incrustan secuencias subordinadas de otros tipos. Tampoco ofrecen datos
sobre el tipo de apropiación de los géneros discursivos y, con ello, de su participación en las
prácticas sociales. Y dejan de lado asimismo información valiosa sobre las posiciones
enunciativas que los estudiantes asumen.
La primera propuesta retoma la idea de desarrollo planteada en el Nivel 4 de la rúbrica de
argumentación. Se propone concebir el desarrollo del contenido como una expansión de las
macro proposiciones “obligatorias”, ya sea mediante la incrustación de proposiciones
coherentes pertenecientes a otro tipo de texto, ya sea mediante la inclusión de proposiciones
del mismo tipo textual que tengan por función la expansión no obligatoria, a los fines de la
comprensión, de la información “básica”. El criterio se plantea de igual modo para la narración
y la argumentación y solo se aplica en textos que hayan alcanzado los niveles 3 o 2 en
Secuencia:
Dimensión Criterio Indicadores
Contenido Desarrollo como expansión
N 2: El texto presenta dos o más proposiciones de otro tipo textual o del mismo tipo textual que apuntan a desarrollar/expandir la información básica (por ejemplo, la descripción de un lugar o un personaje o de los efectos que produce la práctica de la Educación Física, o la narración de un indicio o de acciones puntuales verosímiles (en la consigna narrativa) o una evaluación final (en ambas consignas). N 1: El texto se limita a presentar las macro proposiciones básicas que lo vuelven narrativo o argumentativo o introduce una sola proposición expansiva.
Si bien siempre es riesgoso introducir un criterio que no se ha piloteado, el equipo de la UMC
ha decidido no usar la dimensión Contenido a efectos de puntuar la escritura. Además, aunque
el número de casos con el que contamos es mínimo, de ellos y de la experiencia puede
asumirse esta evaluación, con estos niveles, al menos con carácter exploratorio. Tomamos
algunos casos y los analizamos:
-El caso citado en la página 18 quedaría en el nivel 1 pues la única expansión se observa en la
reiteración de la pregunta al padre. Es la única proposición no digresiva que puede suprimirse
para conservar la información “básica” (si se suprimieran las dos preguntas, el texto dejaría de
tener nudo).
33
-En el siguiente caso no puede aplicarse el criterio porque la secuencia presenta más de dos
acciones sin orden cronológico: primero Lucía vive dos años en una casa solitaria. Después,
repentinamente, la casa “estuvo” embrujada. Después apareció la dueña para advertírselo,
porque al parecer ella no lo había notado. Hay un además dos saltos en la narración: la
expectativa de lectura se dirige a saber cómo resuelve Lucía la muerte de ambos padres, su
soledad, pero sola decide irse a otro país a vivir también sola. La aparición de un príncipe en su
lugar de origen (tal como es presentado) es el otro salto.
-El caso siguiente correspondería al Nivel 2. Se incrustan secuencias descriptivas referidas al
personaje y varias acciones puntuales que aportan verosimilitud al relato:
34
35
-La siguiente argumentación se codificaría en el Nivel 1 porque no presenta ninguna
expansión.
-Y la siguiente (fragmentada), en el Nivel 2, porque hay un argumento expandido, una
refutación y una conclusión evaluativa (aunque su eficacia resulte débil).
36
La segunda propuesta, que retoma en parte los patrones temáticos hallados por el equipo de
la UMC, se refiere solo a las narraciones (adecuadas o no a la consigna) y se relaciona con la
apropiación de los géneros discursivos a partir de la enseñanza y la participación de los niños
en las prácticas socio-culturales. La hipótesis es que en el nivel primario la escuela refuerza la
lectura de algunos géneros narrativos originados en la cultura popular: los cuentos folclóricos y
las leyendas, mientras que a los géneros originados por la cultura de masas, como el policial, la
ciencia ficción y la nueva literatura infanto-juvenil, se accedería a través de consumos que
dependen del nivel socioeconómico y cultural familiar o en el secundario. Los documentos
curriculares no prescriben la enseñanza de ninguno de estos géneros en particular y la
propuesta evaluación se basa en una posición ideológica: la igualdad de oportunidades, que no
37
supone la sobrevaloración ni de lo masivo ni de lo popular. De hecho, los resultados en este
criterio podrían cruzarse con los de nivel socioeconómico y cultural y los de rural/urbano8.
Cabe señalar que el criterio puede ser débil. En primer lugar, porque ante su difusión masiva
los relatos de origen tradicional pasan a ser parte de la cultura de masas mediante una serie de
transformaciones (por esta razón nos hemos remitido al origen). Por otra parte, solo se ha
chequeado el funcionamiento del criterio en la escasa cantidad de casos con que se cuenta al
realizar este informe. Además, de los tres temas propuestos en la consigna, “Lucía en la casa
embrujada” y “Mateo, el niño que se perdió en la selva” son más convocantes para apelar a
rasgos de ambos grupos de géneros: los embrujos y las aventuras recorren la historia de la
literatura, aunque con matices. En cambio, “Chumbeque, el perro héroe” (el tema menos
elegido) parece invitar a la apelación a los géneros de masas, pues hay numerosos perros
héroes en series con actores y animadas, y películas –así como en noticias– y no se observan
perros que realicen hazañas en cuentos populares y fábulas. Entonces, también podría
atribuirse al tema elegido a partir de la consigna dada una parte de las elecciones
intertextuales que los niños efectúen. Finalmente, algunos textos narrativos leídos, no
presentan intertextos ni masivos ni populares (por ejemplo, el caso citado en la página 18). Por
lo dicho, la aplicación de este criterio, de aceptarse, debería ser exploratoria.
8 Esta hipótesis es parte de la tesis doctoral en curso de la consultora, por lo que, si se acepta probar el criterio, se ruega referenciar dicho trabajo, debido a que se exige que sea inédito.
38
Dimensión
Criterio Indicadores9
Contenido en textos narrativos
Géneros presentes como intertextos
N 3: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios tanto de los relatos de origen popular como de los relatos originados en la cultura de masas. N 2: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios de los relatos originados en la cultura de masas: héroe con poderes extraterrestres o habilidades dadas por las nuevas tecnologías, hazañas para salvar a muchos, peripecias y seres de las películas de aventuras o terror (momias que cobran vida, serpientes gigantes, caricaturas o hipérboles de fantasmas, zombies, Haloween, martes 13), situaciones iniciales “actuales” (viaje familiar, vacaciones, campamento); indicios estereotípicos (puertas que se abren solas, frío inexplicable, selva densa); complicaciones motivadas por pares desafiantes; soluciones como sueños, amnesia, engaños mediáticos; adultos que se equivocan en su percepción de los niños y al final se disculpan, etc. N 1: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios de los relatos de origen popular; el protagonista experimenta una o varias pruebas valiéndose de habilidades humanas (astucia, belleza, persistencia, maña, fuerza), a veces con ayuda de seres sobrenaturales; aparecen elementos campesinos (chozas, casas de piedra, caballos, gallinas, pobreza) y/o palaciegos; situaciones iniciales tradicionales (cumplir con un mandato adulto, alejarse del hogar) y complicaciones tradicionales (desobedecer a los adultos, perderse, no ser reconocido); los adultos tienen la razón y auxilian al personaje; el final feliz es un casamiento o una victoria contra la adversidad; el final puede ser también trágico. Pueden observarse repeticiones como rasgos de la oralidad y el ritualismo. El uso de las fórmulas “Había una vez” y “Vivieron felices” y la función ejemplar (con moraleja explícita o implícita) se dejan de lado porque los estudiantes no las usan exclusivamente como marcas evidentes de relato de origen popular.
El cuento citado en la página 22, se ubicaría en el Nivel 2: predominan los rasgos de los relatos
de aventuras de masas, pero también están presentes los esfuerzos del héroe para regresar al
hogar y el hecho de no ser reconocido inicialmente por sus padres. Lo mismo sucede en este
9 Hemos consultado los indicadores propuestos a la luz de los casos recibidos y de los documentos curriculares peruanos con un experto en literatura medieval artúrica, Manuel Abeledo, doctor en Letras por la Universidad de Buenos Aires.
39
caso: hay marcas de relato popular en la primera parte y de relato de terror masivo a partir de
“entonces”:
El siguiente relato, en cambio, puede ser ubicado en el Nivel 1: el héroe se aleja, comete
transgresiones, tiene enemigos, los enemigos lo interrogan, el adulto lo auxilia, el héroe
regresa y vuelve a alejarse; es perseguido; hay tres peripecias (al estilo de los cuentos de tres
intentos), el ambiente es campesino.
40
La tercera propuesta se efectúa en relación con los textos argumentativos. Consiste en evaluar
la eficacia comunicativa de la argumentación en relación con dos parámetros que parecen
justos en sexto grado: la autonomía versus la heteronomía, categorías que estudió Piaget y
retomaron Kholberg y Gilligan, desde el punto de vista de la psicología del desarrollo, y
Marková y Duveen desde el punto de vista de la psicología social. Como es sabido, según
Piaget, hasta los 10 años es esperable que los sujetos sean heterónomos dado que para
41
alcanzar la autonomía necesitan pasar por un proceso de descentración cognitiva que les
posibilite superar el egocentrismo intelectual. El pensamiento egocéntrico propio de los 3 a los
7 años es un período del desarrollo cognitivo en el cual los sujetos se encuentran centrados en
su propio punto de vista, porque todavía no ha culminado el proceso de diferenciación entre
mundo interno y mundo externo que comienza en los primeros meses de vida. La
descentración cognitiva necesaria para superar el egocentrismo intelectual se produce en la
medida en la que el niño participa de relaciones de cooperación entre pares que lo confrontan
con puntos de vista, intereses y deseos distintos de los suyos. Los estudios de Piaget recibieron
críticas y autocríticas centradas en la edad de los sujetos, en la generalización de los estadios y
en la idea de que los logros son propios de los individuos como tales.
En la línea de Piaget, los estudios posteriores de Kholberg, quien postula que entre los 9 años y
la adolescencia la acción justa es aquella que satisface instrumentalmente las necesidades del
sujeto, necesidades que pueden entrar en conflicto con las de otras personas y a veces deben
ser acordadas, fueron criticados por Gilligan debido a que habían sido realizados sólo con
sujetos varones.
Desde la psicología social se apuntó que tanto Piaget como Kholberg habían descuidado la
intervención de la cultura en el desarrollo del juicio y se postuló que los conocimientos
construidos colectivamente son la base de la posterior elaboración individual de conceptos. Se
realizaron estudios en parejas compuestas por un niño y una niña y se observó que, en
aquellas en las que los argumentos correspondientes a la moral autónoma eran esgrimidos por
un niño ante una niña heterónoma, el tiempo en llegar a una respuesta acordada era menor y
los argumentos esgrimidos eran simples. En cambio, cuando una niña esgrimía argumentos
autónomos ante un niño heterónomo, el tiempo transcurrido hasta el logro de una respuesta
común era mayor y los argumentos esgrimidos más complejos y extensos. Tales resultados
indican que los sujetos no aceptan los juicios simplemente por considerarlos
epistemológicamente válidos, como afirma Piaget, sino que en ese procesos intervienen los
significados sociales, como las creencia sostenidas culturalmente en torno a las diferencias de
género. En este sentido, sería interesante cruzar los resultados obtenidos en este criterio con
los resultados de género.
El criterio puede aplicarse a todas las argumentaciones que alcanzan los niveles 3 y 2 en
Secuencia. Para formularlo, tomamos también en cuenta la propuesta original del equipo de
Comunicación de la UMC.
Dimensión Criterio Indicadores
Contenido Argumentación autónoma
N 3: Los juicios expresan la opinión del estudiante sobre una situación que atañe a él y a otros. Los juicios muestran la acción de (o la conciencia sobre) sujetos diferentes del estudiante: pares que no opinan como él, una autoridad, un colectivo, una
42
convención social, los padres. Si se observan cuantificadores referidos a los pares, explícitos o implícitos, son “muchos“ o “algunos“. El texto puede presentar argumentos ad-hominen (“el grupo de padres que quiere eliminar Educación Física está frustrado por sus problemas de sobrepeso”) u otras falacias (“No estoy de acuerdo con la eliminación de Educación Física, pues no queda allí: conduce directamente a la eliminación de Música y Plástica”). N 2: Al menos un juicio expresa la opinión del estudiante sobre una situación que atañe a él y sus pares. Los juicios muestran la acción de (o la conciencia sobre) los niños en edad escolar, cuantificados, implícita o explícitamente, como “todos”. Para alcanzar la persuasión, el texto puede hacer, de un caso, una regla (“es sabido que un niño que dejó de practicar Educación Física y quedó con su musculatura disminuida, por lo que todos los niños…”); también puede presentar la falacia del hombre de paja (“No estoy de acuerdo con la eliminación de Educación Física. Los niños tenemos derecho a hacer actividades variadas”). Los argumentos se basan experiencias que se asumen compartidas: “En Educación Física siempre nos hemos divertido mucho/hemos aprendido a convivir”. N 1: El estudiante expresa su opinión sin tener en cuenta a otros. Si usa el “nosotros”, el pronombre puede ser fácilmente sustituido por “yo” porque solo abarca el punto de vista del estudiante. Los argumentos se basan en deseos, gustos, sentimientos o experiencias personales: “porque deseo ser atleta en el futuro”, “porque me gusta”, “porque me divierto”.
El texto fragmentado citado en la página 24, quedaría codificado en el Nivel 3 pues el estudiante
emplea argumentos que se aplican a la generalidad de la población (“uno puede desestresarse/
y eso es muy bueno para la salud”); a una parte de la población de estudiantes (“muchos tal vez
de grandes quisieran ser atletas”); a una autoridad: “unos cursos son más importantes que otros,
pero solo por eso no los podemos eliminar”).
El siguiente texto, quedaría codificado en el Nivel 2, porque todos los argumentos se refieren a
“nosotros, todos los estudiantes”.
43
También este texto quedaría codificado en el nivel 2, porque los dos primeros argumentos
involucran a todos los pares y solo el último es personal.
44
En cambio, el texto citado en la página 23, quedaría codificado en el nivel 1 pues el estudiante
solo emplea argumentos relacionados con su experiencia: “en educación aprendes a jugar vóley
y a jugar fútbol y…”. También quedaría en este nivel el siguiente texto (fragmentado) que
presenta un solo argumento no desarrollado:
45
En este informe, en primer lugar, hemos tratado comparativamente la evaluación de la
escritura que implementa Perú en 2013 y las que realizan otros países y los organismos
internacionales de evaluación de la calidad educativa. La comparación fue más global de lo
deseado debido a que solo se ha logrado contar con tres rúbricas por razones de
confidencialidad.
En segundo lugar, se han analizado las rúbricas y el Manual según a las dimensiones y los
criterios de evaluación y los indicadores incluidos en cada criterio, en relación con las pruebas,
los datos entregados a la consultora obtenidos en la aplicación piloto, el Marco de trabajo de
la UMC y también en relación con el diseño curricular vigente, las Rutas del Aprendizaje y el
Mapa de Progreso de escritura. Además, se han abordado las indicaciones para el estudiante y
para el aplicador. En cada caso, se han efectuado sugerencias de mejora o ratificado las
decisiones del equipo de Comunicación de la UMC.
Finalmente, se han realizado tres propuestas para evaluar el contenido de los textos.
46
Se insiste en que las sugerencias no constituyen planteos acabados y en qué quedamos
abiertos al intercambio.
47
Producto 3. Informe sobre el Marco de trabajo de la prueba de escritura,
el modelo de procesamiento y los resultados que se espera reportar
En este informe se realizan en primer lugar comentarios adicionales a los vertidos en los
productos 1 y 2 sobre el marco teórico de la prueba de escritura y el modelo de evaluación.
Además se efectúan consideraciones sobre el modelo de procesamiento que se busca emplear
y los resultados que se espera reportar.
1. El Marco de trabajo
1.1. El marco teórico
En el Producto 2 se ha señalado ya que el marco teórico de la UMC supera el aplicacionismo de
modelos sobre la producción textual que se observan hoy, sin solidarización, en casi todos los
currículos de los países de la región. Nos referimos particularmente a que el llamado “enfoque
comunicativo” no solo pone énfasis en que los estudiantes conozcan y manejen diversas
estructuras textuales adecuadas a la intención, el tema, los destinatarios y el contexto en el
que se usa el lenguaje atenuando la enseñanza de lo normativa y la gramática; además, como
bien reconoce el equipo de Comunicación: “un vasto paisaje disciplinar -desde la pragmática,
la lingüística del texto, la etnografía de la comunicación y la semiótica textual, hasta la
sociolingüística, los enfoques socio cognitivos de la psicolingüística, la etnometodología o el
análisis del discurso- aparece ante los ojos de los maestros como un nuevo marco sugerente y
lleno de posibilidades para dar sentido al trabajo en el aula” (p.3). Cuando hablamos de
“aplicacionismo” hacemos referencia a que diferentes hallazgos de esas muy diferentes
disciplinas de referencia se bajan al aula sin que se los haya diseñado para la enseñanza, sin
que su eficacia pedagógica haya sido suficientemente probada y sin que la generalidad de los
docentes conozca su procedencia, sus encuadres, etc. Cuando hablamos de ausencia de
solidarización, queremos decir que dentro de ese “paisaje” hay ramas de la Lingüística cuyos
objetos de estudio no se intersectan o cuyos objetos de estudio se superponen, lo que da
como resultado una desarticulación en la enseñanza de ciertos contenidos y una superposición
de contenidos de enseñanza, respectivamente. Hemos visto, por ejemplo, que las Rutas del
aprendizaje tienen una fuerte marca de uno de los enfoques dominantes: la Psicología
cognitiva, que deja de lado las características de los textos y los contextos; asimismo, que el
Diseño Curricular 2009 menciona los “textos informativos, instructivos, poéticos, dramáticos” y
“los textos discontinuos y de diverso tipo”, evidenciando confusión entre propósitos
(Pragmática), géneros (Análisis del discurso) y formatos (Lingüística del texto).
El equipo de la UMC destaca que “A través del tiempo, se ha optado por diferentes modelos
educativos teóricos que han determinado cómo debía ‘enseñarse’ la lengua a los estudiantes”
(p.3) y con esto asume que los saberes no son estables y que se los debe desacralizar o
desnaturalizar considerando su origen, su historia y sus implicaciones en la enseñanza.
Además, si bien sitúa el foco de la enseñanza de la lengua en su uso con diferentes propósitos
comunicativos, reconoce que los aspectos gramaticales y normativos son parte de la
48
enseñanza de la lengua, pues “se vuelven reflexivos al ser usados como elementos que
permiten una mayor eficacia en la comunicación del estudiante” (p.4). Subrayamos este último
aspecto porque algunos estudios señalan ya los efectos negativos del abandono de la
enseñanza de la gramática, en lugar de tratarla como parte constitutiva y comunicativa del
texto.
Evidentemente, la presentación de un marco teórico más sólido e integrado que el de los
documentos curriculares es positiva para el público destinatario del documento. Sin embargo,
y a pesar de las constantes remisiones a los documentos curriculares en tanto fuente, en el
Producto 2 se ha sugerido tener en cuenta posibles conflictos con la rama del Ministerio de
Educación a cargo de la planificación curricular.
Por otra parte, se ha propuesto quitar algunos rasgos de escritura académica al Marco de
trabajo, presentes en el uso de términos y referencias a autores que los destinatarios
difícilmente conozcan.
1. 2. Modelo de evaluación de la escritura
Ya hemos expresado en los productos anteriores nuestro acuerdo general y nuestras
diferencias puntuales con el modelo de evaluación de la escritura adoptado. A continuación
hacemos referencia a puntos específicos del modelo de evaluación de la escritura tal como es
descripto en el Marco de trabajo.
-Se sugiere revisar la numeración de partes: se inicia en 6.1. y se pasa a 6.4.1., 6.4.2., etc.
“Evaluación de la competencia de producción escrita” no está numerado y en la página 13 se
lee una paráfrasis: “Modelo de evaluación de la escritura”. Los “Puntos clave del modelo” se
repiten en las páginas 8 y 13. Las tablas también están mal numeradas (la primera es la 8). Se
sugiere exponer en este orden: 1) Evaluación de las competencias comunicativas; 2) Enfoque
comunicativo; 3) Definición de “escritura”; 4) Modelo de evaluación de la escritura, puntos 1 a
7, con sus respectivas tablas10.
-En las páginas 5 y 14 se habla de los “conocimientos estáticos del estudiante” por oposición al
uso de conocimientos durante un proceso productivo; si bien la oposición es útil para
favorecer la comprensión, se sugiere revisarla porque ningún conocimiento es estático.
-En las páginas 6 y 7 parece necesario aclarar que se exponen características de hablantes y
escritores expertos y que aún se carece de estudios suficientes sobre cómo se adquiere
procesualmente la experticia. En este sentido, la evaluación de la escritura procura informar
en qué medida los niños de cada grado evaluado se acercan a un ideal obtenido en
investigaciones, aunque esté ajustado a prescripciones curriculares.
-En la página 7 sería necesario definir las memorias a largo plazo y de trabajo. Como
comentario adicional, cabe señalar que, al describir con tanto detalle los procesos y
subprocesos de escritura según los modelos de Kellog, Hayes, Bereiter y Scardamalia, etc.,
10 Los comentarios siguientes remiten a la numeración de la versión borrador recibida por la consultora.
49
situados claramente en el individuo, se dejan de lado restricciones retóricas “sociales” o
dependientes de consensos culturales. Tal vez, este aspecto podría cubrirse con algún ejemplo
que apele no solo a la búsqueda de ser claro o convincente, sino también a la de adecuarse a
un género discursivo en alguno de sus rasgos.
-En la página 8, segunda noción, (a) puede ser identificada con coherencia textual y (b) con
coherencia pragmática o adecuación de las ideas a la situación comunicativa, pues este último
aspecto se evalúa. También en la página 10 debería incluirse alguna referencia a la coherencia
pragmática.
-En la página 11 se sugiere agregar un ejemplo verbal que se corresponda con el esquema para
facilitar la comprensión.
-En la página 12, también para facilitar la comprensión, se propone transformar el paréntesis
“(principalmente, aunque no exclusivamente, deixis)” en una oración aparte que incluya
ejemplos de deixis anafórica y catafórica.
-En la página 13, Tabla 9, correspondería quitar el primer punto, pues no se lo evalúa.
-En la página 14, se sugiere justificar por qué se habla de “capacidades” en vez de “habilidades”. Allí mismo, en la Tabla 10, 7ii debería decir “modela argumentos lógicamente consistentes y acciones cronológicamente ordenadas”. En la misma tabla, ¿cómo se mide si el estudiante “Evalúa la adecuación de su texto a los objetivos originales”? Se propone quitar el punto. -Se sugiere unir las tablas 10 y 11, diferentes en solo dos filas, y colocar al final la
especificación sobre el estatus de la variedad estándar.
-Entre las páginas 14 y 16 se hace, implícitamente, una distinción discutible: la de que se
evalúan, por un lado, capacidades cognitivas de producción textual; por otro, textos y
finalmente, contextos. En realidad, la producción de un texto narrativo o argumentativo
adecuado a cierto contexto es una capacidad cognitiva de producción textual. Se sugiere
encabezar la distinción con una aclaración.
-En la página 17, de acuerdo con lo planteado en el Producto 1, se propone revisar si debe
quedar para todo caso el filtro “textos de menos de 40 palabras”. Revisar, además, cómo
emparejar las categorías simplificadas de planificación, textualización y revisión con el modelo
de la escritura más complejo que se ha presentado inicialmente. En la nota al pie sobre
narración, considerar si la pregunta “qué ocurrió” no es más comprehensiva que “cuándo y en
qué orden”. En la nota al pie sobre argumentación, analizar si “por qué” abarca la tesis y si
conviene emplear "explicación", que corresponde a otro por qué, el cual, en vez de convencer,
busca desenvolver las razones por las cuales se produce un fenómeno social, natural, etc. en
un marco científico o pre-científico. Se sugiere, finalmente, ver si la caracterización del texto
pedido debe ir en nota al pie o en el cuerpo central del texto, ya que las capacidades
involucradas en la escritura de cada texto varían al variar este y ya que luego los resultados se
reportarán por separado según la secuencia predominante.
-En todas las tablas de especificaciones se sugiere unificar la formulación de indicadores sin
negaciones (“usa el registro esperado…” en vez de “no trasgrede el registro esperado”).
50
-En la página 18 parece cuestionable que se tomen los indicadores listados como evidencia de
la capacidad de planificación. ¿Por qué no evidencian la capacidad de textualizar? ¿Por qué no
se reserva para la planificación el análisis del borrador?. Se entiende el esfuerzo por aproximar
el modelo teórico adoptado para la evaluación a la simplificación o transposición que se
observa en Rutas del aprendizaje, pero realmente parece forzado asimilar tales indicadores a
la planificación, así como los de la Tabla 14 a la revisión (p. 20). Finalmente, también en la
página 18, de acuerdo con lo planteado en el Producto 2, se sugiere corregir el último
indicador de la Tabla 12: “En situaciones que requieren la producción de un texto
predominantemente narrativo, propone una secuencia narrativa en la que hay una situación
inicial, una situación central y una situación final, independientemente del orden en que se
presenten”. Y agregar un indicador más: “En situaciones que requieren la producción de un
cuento, siempre plantea un nudo o complicación”.
-En la Tabla 13 (p. 19) el tercer indicador debería quitarse, pues no se evalúa. En la misma
tabla, de acuerdo con lo propuesto en el Producto 2, se sugiere separar el desarrollo de los
argumentos –y de las narraciones– de la información “básica” surgida de las macro
proposiciones “obligatorias” argumentativas –o narrativas–. La evaluación de las expansiones
sería referencial. Para las dos últimas capacidades listadas en la Tabla 13 se han formulado
propuestas en el punto 3 del Producto 2.11
Estas mismas observaciones se consideran aplicables al Anexo 4 (que debería llamarse Anexo
1, aunque el hecho de que la Bibliografía tenga como subtítulo “Del área de Comunicación”
nos hace pensar que hemos trabajo con un texto al que solo se le han dejado las partes de
interés para la consultora).
2. Reporte de resultados
Al redactar esta sección, nos basamos en el documento “Notas sobre escritura”, que nos fue
enviado por el especialista Carlo Linares y que da cuenta de algunos de los consensos a los que
el Equipo de Comunicación arribó hasta el momento.
En primer lugar, se señala la intención de reportar resultados por criterio “pero también, y
sobre todo, [el reporte] debería considerar niveles de desempeño globales” (“Notas”, p.1).
Estamos de acuerdo con esta decisión, pero creemos necesario insistir en el valor del reporte
por criterios.
El reporte de resultados por criterios es muy útil, a juicio de la consultora, para la formación de
docentes o para ofrecerles nuevos elementos de trabajo en el aula. Es sabido, por ejemplo,
que en algunos textos de divulgación y manuales escolares “coherencia y cohesión” se tratan
como una misma cosa y con independencia de los otros aspectos que caracterizan al texto.
Conocemos también que ciertos errores de léxico son tratados como errores de ortografía,
11 Lamentablemente, en el punto 3 del Producto 2 ha quedado un error importante: se usa “autonomía” por “heteronomía”. En la página 29, el texto debía decir “Como es sabido, según Piaget, hasta los 10 años es esperable que los sujetos sean autónomos dado que para alcanzar la heteronomía necesitan pasar por un proceso de descentración cognitiva que les posibilite superar el egocentrismo intelectual”.
51
entre muchos otros problemas. Un reporte que muestre los resultados en cada criterio y, a
partir de ejemplos tomados del corpus, proponga orientaciones de trabajo específicas para
textos con diferentes tipos de problemas permitiría aprovechar valiosa información que los
sistemas de evaluación producen y que, en general, se deja de lado aunque puede colaborar
fuertemente con la mejora de la calidad educativa. Además, un reporte de esta clase permite
mostrar formas de evaluar más sistemáticas que las que suelen proponerse en el aula, donde
predominan aún consignas sin propósito, sin destinatario, etc. o correcciones que evalúan algo
que se no se demandó escribir. Siendo los docentes el público privilegiado de este tipo de
reporte puede pensárselo como un producto separado del reporte con resultados más
globales e incluso, posterior. No desconocemos con esto que los equipos de evaluación de la
calidad educativa tienen más que suficiente trabajo en su área. Más bien, planteamos un
interés personal que nos surgió a diferentes colegas cada vez que evaluamos masivamente la
escritura: cuántas publicaciones para docentes e incluso jefas y jefes de hogar podríamos
haber generado seleccionando textos conmovedores, divertidos, creativos y planteando seria y
sencillamente temas específicos y posibles vías de mejora…
Respecto del reporte por resultados globales, destinado a un público más amplio, un primer
interrogante nos remite al procesamiento de resultados, aun sin ser expertos en el tema. Ese
interrogante es el siguiente: ¿conviene definir los niveles de desempeño de una manera en
Lectura y de otra manera en Escritura? Damos por hecho que los resultados en Lectura se
informan a través de niveles de desempeño generados mediante del Modelo de Rasch y que
en el reporte se da una definición sencilla de “nivel de desempeño” en el marco de ese
Modelo, al que los lectores se han venido acostumbrando en los últimos años. Para Escritura,
se planea obrar de otro modo, aunque el Modelo de Rasch no ha sido descartado. Hacemos
una breve referencia a esta primera planeación y a continuación comentamos lo que, a
nuestro juicio, son sus principales ventajas y desventajas.
Según “Notas…”, el equipo seleccionó inicialmente 10 criterios para argumentación y 9 para
narración (cuando asumía que el contenido de los textos narrativos no se evaluaría), que
serían colapsados en 5 y 4 “aspectos” para los textos argumentos y los textos narrativos,
respectivamente: contenido (solo para los argumentativos), cohesión, coherencia, adecuación
a la situación comunicativa y legibilidad. A los fines de presentar un reporte que proceda
descendentemente desde lo más global hasta lo más local y en vistas de que la nueva
propuesta de evaluación del contenido (Producto 2) debería ser referencial por su novedad,
nos permitimos reordenar los aspectos y reducirlos a 4 para ambos textos: adecuación a la
situación comunicativa, coherencia, cohesión y legibilidad.
El documento “Notas” informa también que en 6to. grado la correlación no fue todo lo baja
que se esperaba en Adecuación a la situación comunicativa, que reúne los criterios Secuencia
textual y Tema. En los productos anteriores se han hecho sugerencias para precisar los
indicadores de estos criterios. Pensamos que el hecho de que en narración se aceptara todo
orden de las acciones aunque la consigna exigía un orden lineal puede haber originado una
codificación más laxa que la propuesta ahora. Lo mismo opinamos sobre la separación entre la
cantidad de argumentos y la secuencia textual argumentativa y hemos propuesto que, así
como en narración conviene evaluar la presencia de tres acciones nucleares sucesivas, en
argumentación conviene medir la presencia de una opinión y dos argumentos para sostenerla,
52
pues esto constituye la secuencia completa pedida. Respecto de Tema, aunque no deja de ser
una cuestión de forma, parece prudente modificar el indicador “Escribe sobre un tema que no
tiene que ver directamente con el solicitado”, eliminando la palabra “directamente”.12
Para colapsar dos criterios en un aspecto, el equipo planea usar tablas de equivalencia en las
que se estipularán distintos niveles de dominio para cada aspecto dado sobre la base del nivel
alcanzado en los criterios que lo componen; por ejemplo, para Coherencia, la tabla combinaría
los tres niveles de Mantención del tema y los tres niveles de Avance de la información
(Estancamiento). Así, los niveles de desempeño en escritura serían la expresión de cortes en la
totalidad de las combinaciones posibles de los aspectos, según cómo se decida ponderarlos.
Un programa informático diseñado ad hoc permite modificar las tablas de equivalencia y
ponderar de diferente manera cada aspecto sobre la base de un ranking de las posibles
combinaciones de códigos por aspecto y de la frecuencia con que esas combinaciones se
establecieron. “Con esta herramienta se busca explorar y validar puntos de corte, que reflejen
distinciones concretas entre niveles de logro globales” (“Notas”; p. 5).
Insistiendo en que no somos expertos en el tema, pensamos que esta forma de determinar los
niveles de desempeño en Escritura es sumamente interesante desde el punto de vista
conceptual, pues parte de una diferencia fundamental con el modo en que se conciben
habitualmente los ítems de lectura (de selección de respuesta y de producción de respuesta):
sin ponderación y sin consideración de las muy diversas elecciones que pueden realizar
diferentes sujetos para resolver un mismo problema comunicativo. Sin embargo, esto nos lleva
a replantearnos el interrogante acerca de los diferentes modos de evaluar la lectura y la
escritura en la EN 2013, en el sentido de que también al leer y resolver ítems de lectura los
estudiantes realizan tareas de diferente dificultad tomando diferentes caminos de resolución,
aunque sin duda es mucho más sencillo para quien elabora ítems determinar un solo
contenido y solo un proceso.
La puntualización anterior, referida a uno de los supuestos del Modelo de Rasch, sería no
obstante, de menor peso que la siguiente: ese modelo es hoy dominante en la evaluación
masiva y dejarlo de lado por completo puede ocasionar que el estudio peruano de la escritura
resulte menospreciado ante los ojos de los expertos. En el Producto 2, si bien nuestra revisión
resultó incompleta, coincidimos con el Equipo de la UMC en que son muy escasas las
evaluaciones de la escritura. Las pocas que hallamos parecen ser elaboradas para que se
ajusten al Modelo de Rasch. Por ejemplo, como hemos comentado, México plantea consignas
graduadas en su dificultad (desde cuatro palabras hasta una argumentación compleja) y esto
necesariamente conduce a la determinación y la descripción de niveles de desempeño
jerárquicos e inclusivos. Colombia, en la prueba de escritura de finalización de la Educación
Superior, asume que las respuestas de los evaluados a preguntas de muy diferente formato
son producto de la interacción entre dos elementos: el rasgo evaluado, representado por la
“habilidad”, y la pregunta, representada por la “dificultad”. En otras palabras, se entiende que
las respuestas de los evaluados dependen de la exigencia de lo que se les demanda y de su
12 Según la experiencia de la consultora, los mejores criterios para medir la adecuación a la situación comunicativa son, además de Secuencia, Género y Registro, pero no fueron solicitados en la consigna de argumentación seleccionada para la aplicación definitiva.
53
propia capacidad para resolver aquello que se les demanda. Las tareas de escritura dadas en
esta prueba son tan disímiles como las mexicanas, pero el supuesto es otro: el constructo no
está definido para medir la habilidad de enfrentar una tarea específica, sino una competencia
genérica: “escribir para comunicarse”. En este marco se asume que la variación en las
calificaciones no se deriva de la diferencia entre las tareas propuestas. Entonces, los niveles de
desempeño “surgen” de la rúbrica, que es holística y presenta en sí 4 niveles jerárquicos e
inclusivos: “uso de recursos estilísticos, elaboración de la intención comunicativa, presencia de
estructura y fallas en el lenguaje”.
Sin negar los aportes del Modelo de Rasch al procesamiento de pruebas, notamos claramente,
en estos dos ejemplos, que las pruebas se elaboraron para adecuarse al modelo de
procesamiento, en vez de buscar una interacción entre que lo que se quiere evaluar y el modo
de analizarlo. Es indudable la claridad de lo que el equipo de la UMC quiere evaluar y de que lo
ha ideado para buscar a posteriori la mejor forma de procesarlo, al punto de elaborar un
software específico. Sin embargo, por el actual estatuto del Modelo de Rasch, se sugiere
analizar la escritura usándolo también. En ocasión de las discusiones sobre el empleo de Rasch
en la prueba de escritura del SERCE se barajaban dos alternativas: la creación de un índice
(para contemplar ponderaciones) y el uso de todos los criterios salvo los referidos al borrador.
Vale recordar que en el SERCE los criterios eran dicotómicos y eso simplificaba el
procesamiento.
Finalmente, desde un punto de vista práctico y de optarse por el uso exclusivo del modelo ad
hoc, cabe preguntarse por qué no reportar niveles en cada uno de los 4 aspectos: adecuación a
la situación comunicativa, coherencia, cohesión y legibilidad. Esto reduciría la cantidad de
combinaciones que deberían manipularse si se intentara combinar los aspectos y sus criterios
en el modelo ad hoc y la información no dejaría de ser global. Por otra parte, en vez de
ponderar cada aspecto, podría decirse que los resultados se reportan por su orden de
importancia conceptual, expresada en el modelo teórico.
En este informe hemos realizado nuevos comentarios sobre el Marco de trabajo: el marco
teórico del área de Comunicación y de la prueba de escritura en particular y el modelo de
evaluación. Se han efectuado comparaciones con los documentos curriculares y sugerencias
puntuales de revisión de la versión recibida. Además se han efectuado consideraciones sobre
el modelo de procesamiento que se busca emplear y el Modelo de Rasch, sin que el tema sea
de nuestra experticia. Finalmente, se han tomado en cuenta los resultados que se espera
reportar insistiendo en la importancia de informar tanto resultados globales como específicos
para apuntar a la mejora de la calidad educativa.
54
PROYECTO FORGE- LÍNEA DE APOYO A LA UMC
Producto 4. Resumen ejecutivo
En este texto se resumen las principales observaciones y recomendaciones efectuadas en los productos 1 a 3 respecto de las consignas, las rúbricas, lo que se evalúa y lo que podría evaluarse, el Manual para el codificador, el Marco de trabajo y el reporte de resultados.
1. Consignas
La consigna narrativa elegida para la aplicación definitiva es adecuada; la única observación es
que los temas de relato dados en los títulos facilitan en diferente grado el planteo de un nudo.
Para próximas evaluaciones, se sugiere ofrecer un solo tema a fin de facilitar la comparación
de logros.
La consigna “Concurso de cuentos de historias de terror” es más compleja que la dada en la aplicación 2013, pues puede inducir a la escritura de una anécdota (“historia que hayas vivido”) o exigir la organización de una re-narración (“película que hayas visto”). Se sugiere descartarla o reformularla para futuras aplicaciones.
La consigna “Cuento con situación ‘eres un robot’” parece tener un sesgo urbano. Desde el
punto de vista estructural, a diferencia de las anteriores, ofrece la situación inicial y el nudo
(“eres un robot”), y pide que se desarrolle la resolución (“qué haces desde que te enteras…”).
Se recomienda revisar el sesgo y tratar de que las consignas de evaluaciones sucesivas sean lo
más semejantes posible en cuanto a sus rasgos estructurales.
La consigna argumentativa elegida para la aplicación definitiva demanda un texto que no se
inscribe en ningún género, a diferencia de todas las otras consignas. De las tres consignas
argumentativas, la que parece más adecuada en este sentido es la que demanda la escritura
de un texto del género carta formal.
Desde el punto de vista estructural, las tres consignas argumentativas demandan
explícitamente la sola escritura de razones. Se sugiere reformular en este sentido las que
quedan para aplicaciones futuras “Expresa tu opinión y da dos razones…”), así como revisar la
adecuación de “padres que pegan a sus hijos” por la cercanía de las ideas de los niños de sexto
grado con las que les inculcan sus familias, lo que dificultaría asumir la posición enunciativa de
argumentador.
2. Rúbricas
En líneas generales, se sugiere unificar las rúbricas para narración y argumentación en todos
los aspectos posibles. Idealmente, solo deberían diferenciarse en una dimensión de Contenido,
si se tomaran todas las sugerencias efectuadas.
También se propone nombrar los criterios y los indicadores del nivel más alto
sistemáticamente con una formulación positiva (Avance o Progresión en vez de
Estancamiento, por ejemplo).
55
Asimismo, reordenar las rúbricas adelantando el conteo de palabras, para dejar pasar los no
textos a los que aplicar las categorías del nivel de la oración y la palabra y para filtrar los textos
a los que aplicar categorías del texto.
También se propone recordar el significado de NA en cada caso (“No aplica si el texto tiene
menos de 40 palabras”), eliminar las notas al pie explicativas y, de ser necesario, hacer breves
recordatorios prescriptivos en los cuadros donde se codifica (“Si encuentra un error de
ortografía y otro de léxico, cuente sólo el último”).
3. Qué se evalúa y qué podría evaluarse
Filtros
Se sugiere modificar los filtros para medir Manejo de la variedad estándar y Convenciones de
legibilidad y evitar la caída de la muestra, así como para captar la posible persistencia de la
práctica de redactar oraciones:
Dimensión Criterio Indicadores
Filtro Texto N 3: Lo escrito en uno de los espacios o en ambos es un texto. N 2: Lo escrito en uno de los espacios o en ambos es una serie de oraciones sin ligazón entre sí. N1: Lo escrito es una copia de la consigna o se encuentra en otra lengua o en un código no verbal.
El proceso de composición
Se acuerda con la decisión del equipo de la UMC de eliminar el criterio “¿Usó el espacio del
borrador para su texto definitivo?” para ambos textos.
Se sugiere incluir un criterio para indagar la comprensión del uso del borrador:
Dimensión Criterio Indicadores
El proceso de composición
Uso del borrador como tal
N 2: El borrador es un texto para el escritor: es un esquema o un cuadro, o carece de líneas dibujadas con regla para asegurar la caligrafía o de adornos en el título u otras partes. N 1: El borrador es un texto para otros: está escrito de corrido sobre líneas dibujadas con regla o muestra marcas de presentación final, como títulos adornados o ilustraciones.
Adecuación a la situación comunicativa
Se ha sugerido añadir el criterio Género discursivo para los textos narrativos, pues la consigna
de escritura ofrecida explicita que se espera un texto inscripto en el género del cuento:
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Género discursivo
N 3: El texto es un cuento y presenta al menos una situación central o complicación, que puede estar ubicada después de la situación inicial (“Todo estaba bien hasta que, de pronto...”) o al inicio del relato (“Despertó y se vio en medio de la selva rodeado por jaguares”).
56
N 2: El texto narra una serie de acciones pero ninguna de ellas constituye una complicación de la situación inicial (explícita o implícita). N 1: El texto no es un cuento: es una descripción o una explicación o una argumentación o una combinación de secuencias textuales en las que la narración no predomina.
Lo anterior lleva a replantear el criterio Secuencia textual narrativa, que solo se aplicaría a los
textos ubicados en los niveles 3 y 2 de Género:
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Secuencia textual narrativa
N 3: El texto presenta al menos tres acciones nucleares cronológicamente organizadas/con una cronología lineal. N 2: El texto presenta solo dos acciones nucleares cronológicamente organizadas/con una cronología lineal. N 1: El texto presenta una sola acción o presenta dos o más, pero sin orden cronológico (primero el niño muere y después está vivo; el niño está en su casa y, sin pasaje, aparece a continuación perdido en la selva).
Paralelamente, considerando la consigna seleccionada para la aplicación final y la conveniencia
de hacer semejantes las rúbricas, se sugiere reemplazar el criterio Género de la rúbrica para
textos argumentativos por el de Tipo de texto:
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Tipo de texto N 2: El texto es argumentativo. N 1: El texto no es argumentativo: es una descripción o una explicación o una narración o una combinación de secuencias textuales en las que la argumentación no predomina.
En segundo lugar, con el propósito de tratar la secuencia completa como se ha hecho en
narración e incluir los casos que podrían quedar afuera a causa de la imprecisión de la
consigna, se propone no contar aparte la cantidad de argumentos y definir “opinión completa”
(por oposición a tesis como proposición desarrollada), respectivamente:
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Secuencia textual argumentativa
N 3: El texto presenta la formulación de una opinión completa (“Estoy de acuerdo/no estoy de acuerdo con la eliminación de Educación Física”) y dos o más razones que la fundamentan. N 2: El texto presenta la formulación de una opinión completa o incompleta, seguida de una razón que la fundamenta. N 1: El texto presenta solo una opinión, completa o incompleta, o solo una razón, o las razones contradicen la opinión o se contradicen entre sí y entonces no fundamentan.
Nótese que se propone incluir las contradicciones, eliminadas de Coherencia, en el Nivel 1 de
Secuencia textual narrativa y Secuencia textual argumentativa.
57
Se sugiere revisar el indicador de Nivel 1 del criterio Tema: “Escribe sobre un tema que no
tiene que ver directamente con el solicitado”. Se indica que un texto que toma el tema
lateralmente debe incluirse en el Nivel 2. Por tanto, sería más claro redactar el indicador de
Nivel 1 del siguiente modo: “Escribe sobre un tema que no tiene ninguna relación con el
solicitado”.
En cuanto al criterio Registro, se observa que, ante una consigna argumentativa que no
prescribe la inscripción del texto en ningún género, resultaría arbitrario penalizar el uso de un
registro correspondiente a géneros orales. Además se sugiere extender la evaluación de
Registro a la consigna narrativa porque los cuentos han de presentarse en un concurso. Los
indicadores podrían ser los siguientes (como es muy improbable el uso de términos muy
informales, podría eliminarse el nivel 1):
Dimensión Criterio Indicadores
Adecuación a la situación comunicativa
Registro N 3: El registro es adecuado en todo momento. N 2: Se observa el uso de una palabra, construcción o contracción propia de contextos muy informales (“ejemplo”) o el empleo de una abreviatura (x q). N 1: Se observa el uso de al menos una palabra, construcción o contracción propia de contextos muy informales y además el empleo de al menos una abreviatura.
Coherencia
Se sugiere evaluar la coherencia –así como la cohesión– en todos los textos, argumentativos y
narrativos, y también descriptivos, explicativos, etc. Se propone además añadir un criterio
(separándolo de Cohesión):
Dimensión Criterio Indicadores
Coherencia Texto como unidad comunicativa
N 2: El escrito constituye una unidad comunicativa por su sentido pleno. N 1: El escrito no constituye una unidad comunicativa porque presupone el conocimiento de la consigna o da por presentados referentes clave que no pueden reponerse (“Porque nos divertimos mucho y entrenamos nuestro cuerpo”/ “Él se perdió en la selva y él comenzó a perseguirlo”).
Respecto del Nivel 1 de los criterios Mantención y Estancamiento, respectivamente, se
acuerda con el equipo la conveniencia de colapsarlo con el Nivel 2.
Cohesión textual
Se sugiere revisar este criterio porque en la rúbrica los indicadores se basan en la presencia de
referentes, palabras, nexos y conectores y omiten su uso fallido, así como las repeticiones
injustificadas de palabras:
Dimensión Criterio Indicadores
Cohesión textual
Cohesión léxico-gramatical
N 3: El texto está plenamente cohesionado: todos los pronombres tienen un referente concordante, todos los nexos y los conectores necesarios para la comprensión
58
están presentes y correctamente usados y se emplean sinónimos de palabras de uso común. N 2: El texto está cohesionado, pero no plenamente: al menos dos pronombres no tienen referente o tienen un referente no concordante, y/o al menos dos nexos o conectores necesarios para la comprensión están ausentes o incorrectamente usados y/o al menos tres palabras de uso común se repiten innecesariamente. N 1: El texto presenta varios problemas de cohesión, aunque no impiden por completo su comprensión: tres o más pronombres carecen de referente o tienen un referente no concordante y/o tres o más nexos o conectores necesarios para la comprensión están ausentes o incorrectamente usados y/o se repiten innecesariamente más de tres palabras de uso común.
Se propone restringir el conteo de palabras repetidas a las clases de los sustantivos, los verbos
y los adjetivos y excluir el conector “y”.
En Puntuación se propone considerar la posibilidad de colapsar los niveles 2 y 3 y/o la de
efectuar un pequeño cambio (destacado) en el Nivel 3, a fin de que el codificador no se
“anticipe” a la coma enumerativa: “Utiliza algún signo de puntuación de manera adecuada
(punto seguido, punto final o coma para separar suboraciones yuxtapuestas u oraciones), pero
comete al menos un error […]”.
Manejo de la variedad estándar
Para el criterio Construcción oracional, se propone eliminar el Nivel 1 por su cercanía con un
filtro, pues el indicador describe un texto que no puede comprenderse. La decisión de volver
cuantitativo el análisis podría ocasionar inconsistencias significativas entre codificadores ya
que el indicador reúne evidencias bien heterogéneas. En este sentido, se sugiere contemplar
también la posibilidad de recalibrar los niveles 2 y 3.
Respecto de los criterios Léxico y Segmentación (este último de la dimensión Convenciones de
Legibilidad), a partir de los datos estadísticos ofrecidos, coincidimos con el equipo de la UMC
en la conveniencia de reportar valores absolutos.
Convenciones de legibilidad
Para reforzar la consistencia de Número de palabras, se sugiere en primer lugar adelantar
Convenciones de legibilidad, ya que particularmente el criterio Segmentación puede incidir en
un conteo incorrecto.
Para el criterio Grafías, al que se ha considerado añadir el indicador Uso de mayúscula, se
propone tratar con cuidado en el Manual los casos en que los estudiantes escriben solo en
mayúscula y, particularmente, los que trazan una mayúscula por minúscula sistemáticamente.
Además, se sugiere mantener el criterio por separado, tal como se procederá con Tildación.
59
Contenido
En primer lugar, para ambos textos, se propone concebir el desarrollo del contenido como una
expansión de las macro proposiciones “obligatorias” (las tres acciones nucleares en la
narración y la opinión y las dos razones en la argumentación). La expansión puede realizarse
mediante la incrustación de proposiciones coherentes pertenecientes a otro tipo de texto o
mediante la inclusión de proposiciones del mismo tipo textual que tengan por función la
expansión no obligatoria de la información “básica” a los fines de facilitar la comprensión o
avivar el interés. El criterio solo se aplica en textos que hayan alcanzado los niveles 3 o 2 en
Secuencia:
Dimensión Criterio Indicadores
Contenido Desarrollo como expansión
N 2: El texto presenta dos o más proposiciones de otro tipo textual o del mismo tipo textual que apuntan a desarrollar/expandir la información básica (por ejemplo, la descripción de un lugar o un personaje o de los efectos que produce la práctica de la Educación Física, o la narración de un indicio o de acciones puntuales verosímiles (en la consigna narrativa) o una evaluación final (en ambas consignas). N 1: El texto se limita a presentar las macro proposiciones básicas que lo vuelven narrativo o argumentativo o introduce una sola proposición expansiva.
La segunda propuesta se refiere solo a las narraciones (adecuadas o no a la consigna) y se
relaciona con la apropiación de los géneros discursivos a partir de la enseñanza y la
participación de los niños en las prácticas socio-culturales. En el nivel primario la escuela
refuerza la lectura de algunos géneros narrativos originados en la cultura popular: los cuentos
folclóricos y las leyendas, mientras que a los géneros originados por la cultura de masas, como
el policial, la ciencia ficción y la nueva literatura infanto-juvenil, se accedería a través de
consumos que dependen del nivel socioeconómico y cultural familiar, incluso cuando los
documentos curriculares no excluyen estos “nuevos” relatos. Además de este argumento,
didáctico, la propuesta se basa en una posición ideológica que sostiene el FORGE: la igualdad
de oportunidades. Por esta razón, los resultados en este criterio podrían cruzarse con los de
nivel socioeconómico y cultural y los de rural/urbano.
El criterio puede ser débil porque los relatos de origen tradicional son parte de la cultura de
masas mediante una serie de transformaciones, porque solo se ha chequeado su
funcionamiento en una escasa cantidad de casos y porque los temas dados convocan
desigualmente rasgos de ambos grupos de géneros (“Chumbeque, el perro héroe” invita a la
apelación a los géneros de masas, pues hay numerosos perros héroes en series, películas y
noticias y no hay perros que realicen hazañas en cuentos populares y fábulas). Por lo dicho, la
aplicación de este criterio, de aceptarse, debería ser exploratoria.
Dimensión Criterio Indicadores
60
Contenido en textos narrativos
Géneros presentes como intertextos
N 3: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios tanto de los relatos de origen popular como de los relatos originados en la cultura de masas. N 2: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios de los relatos originados en la cultura de masas: héroe con poderes extraterrestres o habilidades dadas por las nuevas tecnologías, hazañas para salvar a muchos, peripecias y seres de las películas de aventuras o terror (momias que cobran vida, serpientes gigantes, caricaturas o hipérboles de fantasmas, zombies, Haloween, martes 13), situaciones iniciales “actuales” (viaje familiar, vacaciones, campamento); indicios estereotípicos (puertas que se abren solas, frío inexplicable, selva densa); complicaciones motivadas por pares desafiantes; soluciones como sueños, amnesia, engaños mediáticos; adultos que se equivocan en su percepción de los niños y al final se disculpan. N 1: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios de los relatos de origen popular; el protagonista experimenta una o varias pruebas valiéndose de habilidades humanas (astucia, belleza, persistencia, maña, fuerza), a veces con ayuda de seres sobrenaturales; aparecen elementos campesinos (chozas, casas de piedra, caballos, gallinas, pobreza) y/o palaciegos; situaciones iniciales tradicionales (cumplir con un mandato adulto, alejarse del hogar) y complicaciones tradicionales (desobedecer a los adultos, perderse, no ser reconocido); los adultos tienen la razón y auxilian al personaje; el final feliz es un casamiento o una victoria contra la adversidad; el final puede ser también trágico. Pueden observarse repeticiones como rasgos de la oralidad y el ritualismo. El uso de las fórmulas “Había una vez” y “Vivieron felices” y la función ejemplar (con moraleja explícita o implícita) se dejan de lado porque los estudiantes no las usan exclusivamente como marcas evidentes de relato de origen popular.
La tercera propuesta se efectúa en relación con los textos argumentativos. Consiste en evaluar
la eficacia comunicativa de la argumentación en relación con dos parámetros que parecen
justos en sexto grado: la autonomía o egocentrismo intelectual versus la heteronomía o
reconocimiento de los puntos de vista ajenos. El criterio puede aplicarse a todas las
argumentaciones que alcanzan los niveles 3 y 2 en Secuencia. Para formularlo, tomamos
también en cuenta la propuesta original del equipo de Comunicación de la UMC.
Dimensión Criterio Indicadores
Contenido Argumentación heterónoma/autónoma
N 3: Los juicios expresan la opinión del estudiante sobre una situación que atañe a él y a otros. Los juicios muestran la acción de (o la conciencia sobre) sujetos diferentes del estudiante: pares que no opinan como él, una autoridad, un colectivo, una convención social, los padres. Si se observan cuantificadores referidos a los pares, explícitos o implícitos, son “muchos“ o “algunos“. El texto puede presentar argumentos ad-hominen (“el
61
grupo de padres que quiere eliminar Educación Física está frustrado por sus problemas de sobrepeso”) u otras falacias (“No estoy de acuerdo con la eliminación de Educación Física, pues no queda allí: conduce directamente a la eliminación de Música y Plástica”). N 2: Al menos un juicio expresa la opinión del estudiante sobre una situación que atañe a él y sus pares. Los juicios muestran la acción de (o la conciencia sobre) los niños en edad escolar, cuantificados, implícita o explícitamente, como “todos”. Para alcanzar la persuasión, el texto puede hacer una regla de un caso (“es sabido que un niño dejó de practicar Educación Física y quedó con su musculatura disminuida, por lo que todos los niños…”); también puede presentar la falacia del hombre de paja (“No estoy de acuerdo con la eliminación de Educación Física. Los niños tenemos derecho a hacer actividades variadas”). Los argumentos se basan en experiencias compartidas con pares: “En Educación Física siempre nos hemos divertido mucho/hemos aprendido a convivir”. N 1: El estudiante expresa su opinión sin tener en cuenta a otros. Si usa el “nosotros”, el pronombre puede ser fácilmente sustituido por “yo” porque solo abarca el punto de vista del estudiante. Los argumentos se basan en deseos, gustos, sentimientos o experiencias personales: “porque deseo ser atleta en el futuro”, “porque me gusta”, “porque me divierto”.
4. Manual para el codificador
La única crítica general que se ha formulado es la falta de ejemplos problemáticos tomados de
textos reales. Los ejemplos dados tienen la finalidad de mostrar la codificación de un criterio
por vez. Sin embargo, hay criterios que suelen confundir a los correctores y también casos
dudosos: cuantos más se aborden en el manual, menos serán las consultas y menores las
inconsistencias.
Como los manuales largos atentan contra la revisión sostenida del codificador, se propone la selección de casos francamente dudosos, particularmente para los criterios que se han mostrado más débiles en la aplicación piloto, y su análisis en un anexo.
Se efectuaron además sugerencias puntuales, que no parece importante repetir dado que, al modificarse las rúbricas, deberá revisarse una nueva versión del Manual.
5. Marco de trabajo
El marco teórico
Se observa que el marco teórico de la UMC supera el aplicacionismo de modelos sobre la
producción textual que se observan hoy, sin solidarización, en casi todos los currículos de los
países de la región, incluido el peruano. Cuando hablamos de “aplicacionismo” hacemos
referencia a que diferentes hallazgos de muy diferentes disciplinas de referencia se bajan al
aula sin que se los haya diseñado para la enseñanza, sin que su eficacia pedagógica haya sido
62
suficientemente probada y sin que la generalidad de los docentes conozca su procedencia, sus
encuadres, etc. Cuando hablamos de “ausencia de solidarización”, queremos decir que hay
ramas de la Lingüística cuyos objetos de estudio no se intersectan o cuyos objetos de estudio
se superponen, lo que da como resultado una desarticulación en la enseñanza de ciertos
contenidos y una superposición de contenidos de enseñanza, respectivamente.
Sin dudas, la presentación de un marco teórico más sólido e integrado que el de los
documentos curriculares es positiva para el público destinatario del documento. Sin embargo,
y a pesar de las constantes remisiones a los documentos curriculares en tanto fuente, se
sugiere tener en cuenta posibles conflictos con la rama del Ministerio de Educación a cargo de
la planificación curricular.
Por otra parte, se propone quitar algunos rasgos de escritura académica, presentes en el uso
de términos y referencias a autores que los destinatarios difícilmente conozcan.
Modelo de evaluación de la escritura
Expresamos nuestro acuerdo general y nuestras diferencias puntuales con el modelo de
evaluación de la escritura adoptado. Además, realizamos una lectura crítica de puntos
específicos del modelo de evaluación de la escritura tal como es descripto en el Marco de
trabajo. Sugerimos:
-revisar el orden de la exposición;
-revisar el uso de “conocimientos estáticos del estudiante”.
-aclarar que en el modelo de escritura se exponen características de hablantes y escritores
expertos;
-definir las memorias a largo plazo y de trabajo;
-incluir restricciones retóricas “sociales” o dependientes de consensos culturales;
-en el modelo, incluir una referencia a la coherencia pragmática o de adecuación a la situación
comunicativa;
-expandir algunas nociones teóricas con ejemplos;
-quitar puntos que ya no se evalúan y agregar otros que pasan a evaluarse;
-simplificar algunas tablas;
-aclarar que la producción de un texto narrativo o argumentativo adecuado a cierto contexto
es una capacidad cognitiva de producción textual antes de hacer la distinción entre
capacidades cognitivas, textos y contextos;
-pasar las caracterizaciones de texto narrativo y texto argumentativo de nota al pie al cuerpo
del texto;
63
-revisar los indicadores que, para aproximar el modelo de evaluación a los documentos
curriculares, se encuadran en “planificación” o “revisión”.
6. Reporte de resultados
En primer lugar, se señala la importancia del reporte de resultados por criterios para la
formación de docentes: se trata de aprovechar valiosa información producida por los sistemas
de evaluación y que suele dejarse de lado para mostrar formas de evaluar más sistemáticas
que las que suelen proponerse en el aula, donde predominan aún consignas sin propósito, sin
destinatario, etc. o correcciones que meramente evalúan algo que se no se demandó escribir.
Siendo los docentes el público privilegiado de este tipo de reporte se sugiere concebirlo como
un producto separado del reporte con resultados más globales e incluso, posterior.
Respecto del reporte por resultados globales, destinado a un público más amplio, nos
cuestionamos si conviene definir los niveles de desempeño de una manera en Lectura y de
otra manera en Escritura, dando por hecho que los resultados en Lectura se informan a través
de niveles de desempeño generados mediante del Modelo de Rasch.
Para el reporte global que se está probando, nos permitimos reordenar los “aspectos” y
reducirlos a 4 para ambos textos: adecuación a la situación comunicativa, coherencia, cohesión
y legibilidad. Además, desde un punto de vista práctico y de optarse por el uso exclusivo del
modelo ad hoc, nos preguntamos por qué no reportar niveles en cada uno de los 4 aspectos
para reducir la cantidad de combinaciones que deberían manipularse si se intentara combinar
los aspectos y sus criterios. Asimismo, nos preguntamos si, en vez de ponderar cada aspecto,
no conviene decir que los resultados se reportan por su orden de importancia conceptual,
expresada en el modelo teórico. Si estas sugerencias se siguieran, la información no dejaría de
ser global.
Insistiendo en que no somos expertos en el tema, pensamos que la forma de determinar los
niveles de desempeño en Escritura que se ha planteado el equipo es sumamente interesante
desde el punto de vista conceptual, pues tiene en cuenta las muy diversas elecciones que
pueden realizar diferentes sujetos para resolver un mismo problema comunicativo. Ahora
bien, también al leer y resolver ítems de lectura los estudiantes realizan tareas de diferente
dificultad tomando diferentes caminos de resolución.
La puntualización anterior, referida a uno de los supuestos del Modelo de Rasch, sería no
obstante, de menor peso que la siguiente: ese modelo es hoy dominante en la evaluación
masiva y dejarlo de lado por completo puede ocasionar que el estudio peruano de la escritura
resulte menospreciado ante los ojos de los expertos.
64
top related