Taller – Celu 2014

Evaluación de la producción escrita CELU

Silvia PratiClaudia López CameloAlejandra Elichabe

Conocer el tipo de examen Un examen de desempeño

"un examen de desempeño es el que tanto por el input presentado, como por las actividades propuestas o por la respuesta esperada, intenta reproducir el uso de la lengua en el mundo real."

Sin embargo, un examen directo es relativamente auténtico

Consideremos la necesaria generalizabilidad del desempeño observado

USO DE CRITERIOS PARA LA EVALUACIÓN

Criterio: “definición de desempeño que los evaluadores buscan cuando tienen que decidir qué constituye un desempeño exitoso.”

(Penny Mckay, 2006)“Los criterios operacionalizan el constructo”

(Bachman y Palmer 1966)

“Lo observado permite tener evidencias de lo inobservable”

McNamara, Language Testing, Fig.I.I

ExamenUn desempeño

o una serie de desempeños, que simulan, representan o dan muestras de un criterio

(lo observado)

Criterio

Una serie de desempeños subsiguientes al examen; la meta.

(no observable)

La caracterizaciónde los rasgosesenciales del criterio influye sobre el diseño del examen

inferencias acerca de

(inferido de)

Criterio: Aspecto relevante del desempeño comunicativo en situación de lengua meta: qué se observa, cómo se describe,

qué nos preguntamos

Encabezados:Adecuación, Coherencia, etc.Afirmaciones:“Puede narrar anécdotas”Preguntas:“¿Es capaz de escribir una carta breve a

amigos con una lengua informal adecuada”Más amplios: “Puede escribir cartas”Más específicos: “Puede utilizar el

pluscuamperfecto en la narración”

Noción de género discursivo, según la describe Cassany

La diversidad de discursos se organiza y clasifica a partir de la noción de género. “Un género discursivo aglutina los múltiples conocimientos lingüísticos y socioculturales que debe poseer un lector-escritor para poder comunicarse eficazmente en una determinada comunidad idiomática y cultural: es el grupo de textos que comparten unos mismos parámetros contextuales (propósito comunicativo, rol y estatus del emisor y del receptor, tipo de interacción, ámbito social, etc.) y recursos lingüísticos (secuencias discursivas, formas e cortesía, estilo, fraseología y terminología, diseño, etc.) reconocidos socialmente por los propios usuarios.”

(Cassany, 2005, pág. 25)

tipo de textos (input y solicitado)

género input tipo texto género solicitado

tipo texto solic.

declaración y denuncia

explicativo argumentativo

carta formal narrativo / descriptivo

crónica o noticia

narrativo / informativo

carta informal

apelativo y comentativo

cuento narrativo noticia informativo / narrativo

carta de lectores

explicativo / argumentativo

carta de lectores

argumentativo

Consigna CELU

una acción un propósitoun interlocutor

Debe permitir: transformación, reescritura,

reelaboración. (cambio de destinatario, género, registro, selección de información)

género reconocido en la comunidad de habla

Algún tipo de interlocución

ejemplos en las consignas

acción interlocutor propósito

escribir una carta formal

funcionaria narrar y atestiguar o denunciar

escribir una carta informal

amigo averiguar (preguntar) y dar punto de vista

escribir una noticia

lectores de diario

informar

escribir una carta de lectores

lectores de cartas publicadas

explicar y justificar

Algunos géneros discursivos para el CELU(para el redactor de consignas)

Noticia, carta, aviso publicitario, carta de lectores, nota o artículo informativo, artículo de opinión, contratapa de una novela, página de un manual de instrucciones, página de una guía de turismo, borrador de un informe para un discurso oral, carta de denuncia, carta de reclamo, discurso de homenaje, etc. Mensajes, memos, instructivos, informes y presentaciones laborales,biografía breve, cuento breve, artículo de opinión, página de diariopersonal, informe académico, ensayo, resumen, reseña, anuncios, folletos, encuestas, entrevistas escritas y formularios de encuestas, artículos de información general, fragmentos de cuentos o novelas, avisos, ensayos simples de temas académicos o de conocimiento general, solicitudes, comentarios sobre otros textos en revistas, diarios o Internet, etc.

Género de input históricos Tipos textuales (secuencia principal)

artículo de costumbresartículo de opiniónartículo de difusiónartículo periodísticobiografíacarta abiertacarta de lectorescoletanea (colección de

textos breves)contratapacuentodiario de viajeensayoentrevistafolletográfico/info grafíahoróscopoinformenoticiareseña

argumentativodescriptivoexplicativoinformativoinstructivonarrativo

Géneros según fueron solicitados en la consigna (relev. hasta 211)

artículo artículo de opinión artículo periodístico carta carta abierta carta de disculpas carta de lectores carta de reclamo carta de disculpas carta formal carta informal comentario comentario para foro correo electrónico (no es

género) correo electrónico de reclamo

discurso folleto guía turística informe informe para ser leído en

público instructivo manual de instrucciones noticia página de diario de viaje página de diario personal respuesta a carta de lectores texto de presentación texto para invitar a unirse volante

Propósitos en las consignas

argumentar contar convencer dar el punto de vista dar instrucciones dar instrucciones dar su opinión denunciar describir explicar expresar punto de vista expresar la opinión y justificarla informar sobre informar (y convencer, y explicar, y expresar punto de vista, etc.) narrar narrar experiencia poner en duda presentar un libro solicitar información

(Se han tomado con combinaciones entre sí, por ejemplo: “informar y expresar su opinión”)

Niveles base en las tareas escritas

avanzado intermedio alto

intermedio básico no alcanza

cumple con el género y el propósito solicitados

cumple de manera simple con el género y el propósito solicitados

cumple parcialmente con el género y el propósito solicitados

no cumple con el género ni con el propósito solicitados

no cumple con el género ni propósito ni el contenido

Criterios de bandas tradicionales (Cassany 2003, no CELU)

Prácticamente todos los exámenes estándar de evaluación de escritura como L2 utilizan un sistema de bandas de

corrección basado en estos criterios. (Cassany, 2003)

EscrituraRasgos gramaticales y discursivos

adecuación coherencia cohesión variación

Adecuación Relación del discurso con

los parámetros del contexto

Un escrito adecuado

cumple el propósito respeta las convenciones

sociales y discursivas usa la modalidad

estándar o la variedad apropiada

usa el registro apropiado

CoherenciaSelección y organización de la

información

Un escrito coherente

incluye todas las informaciones necesarias para su comprensión

permite recuperar los implícitos

identifica las partes y elementos del texto

utiliza secuencias discursivas de manera apropiada

organiza los datos en párrafos

Cohesión

Interrelación semántico-gramatical entre oraciones y el

texto

Un escrito cohesivo usa variados

procedimientos gramaticales para enlazar oraciones y organizar secuencias

contiene pronombres y conectores

utiliza los signos de puntuación de un modo claro

Variación (o estilo)

Categoría más abierta que evalúa la expresividad y el estilo

Un escrito variado usa léxico diverso y preciso

sin repeticiones tiene sintaxis compleja y

variada utiliza recursos estilísticos:

frases, figuras, etc. sugiere que el aprendiz

autor del texto ha asumido riesgos

En el CELU

Para orales: Se utilizan grillas y bandas de corrección.

Para escritos: se utilizaron entre 2004 y 2010, grillas.A partir de 2009 se agregaron bandas escritas. (un evaluador analítico y un evaluador

holístico)Desde 2011 ambos evaluadores utilizan sólo andas holísticas. Se recurre a las analíticas en

casos de discusión o duda.

Criterios (para ambos: holística y analítica) son:

Adecuación contextual (priorizada), adecuación discursiva, adecuación gramatical, adecuación léxica.

__________________________________________________________________En el análisis y contraste con los criterios enunciados por Cassany, habría que ver cómo

quedan distribuidos los descriptores. (Analizar en el futuro).Criterio contextual, tiene caract. situacionales + coherenciaCriterio discursivo, tiene caract. de coherencia + cohesiónCriterio gramatical, tiene caract. de cohesión + variaciónCriterio léxico, tiene caract. de variación

Cuando se hace evaluación analítica

Avanzado Intermedio

Alto

Intermedio Básico NA

Adecuación contextual (priorizada)

Adecuación discursiva

Adecuación gramatical

Adecuación léxica

Evaluación analítica por bandas

AVANZADOCumple con el género y el

propósito solicitadosRedacta un artículo de opinión

tomando la información de los dos textos dados, en el que expone su propio punto de vista acerca del tema de la duración de las vacaciones. Explica la situación en Suiza y justifica su opinión. Utiliza el registro formal. Organiza bien la información, la secuencia argumentativa es clara y ordenada, e incorpora la información de los textos para expresar su opinión.

El registro es adecuado a la situación comunicativa.

Variedad de estructuras en las frases y una buena selección de vocabulario.

Los errores de gramática son muy pocos o inexistentes, puede haber alguna transferencia de L1.

INTERMEDIO ALTOCumple con el género y el

propósito solicitadosRedacta un artículo de

opinión en el que demuestra comprensión del tema y cumple con el propósito comunicativo, aunque la secuencia argumentativa no es del todo clara, y se observan algunas ambigüedades por inadecuaciones sintácticas, morfológicas o léxicas.

O cumple con propósito y género, es adecuado en gramática y léxico pero se observan algunos implícitos.

INTERMEDIO Cumple parcialmente con el

género y con el propósito solicitados.

Demuestra comprensión del texto pero le falta coherencia y cohesión para dar su opinión. Discurso sin introducción o sin conclusión. No hay una progresión clara y puede haber argumentos con errores en la progresión lógica. Hay información pero no justifica su opinión.

El texto es coherente y cohesivo en su mayor parte, tiene algunas inadecuaciones en las transiciones entre párrafos, o de gramática y léxico que no oscurecen el sentido total, aunque pueden confundir alguna parte de su lectura.

Puede haber incoherencias en el registro.

BASICONo cumple con el género o el

propósito solicitadosPuede expresar su opinión pero

deja implícitos importantes acerca del tema, copia partes sin reelaborar el texto, le falta cohesión y tiene varios errores de gramática y léxico que oscurecen más de una de sus partes.

O: no expresa opinión de ninguna manera y solo narra lo que pasó, de manera poco clara.

OEs un texto breve, con muchas

inadecuaciones e interferencias de L1 en gramática y léxico, respecto de la cantidad de líneas escritas.

NO ALCANZONo comprende el texto leído ni

la consigna o no puede decirlo en español.

Redacta un texto con

importantes errores de contenido, inadecuado con el sentido del input, o de lengua, que tornan el texto incomprensible en español

No es un artículo, no expresa su opinión, no entendió el contenido, es incoherente.

TAREA 1 EXAMEN 112

PERFILES para la evaluación CELU

descriptores de evaluación de desempeño que han sido definidos empíricamente

mediante el análisis de los datos del desempeño de los evaluados en las tareas de los sucesivos exámenes.

Avanzado es un hablante que en su escritura

cumple con el tipo textual y el propósito solicitados

tiene en claro los parámetros de la situación comunicativa: tiene en claro su rol y el de su interlocutor, uso del registro, nivel de formalidad.

escribe textos coherentes y cohesivos.muy pocas o ninguna inadecuación en

morfosintaxis. léxico adecuado al registro y al tema.

Amplio, si es necesario, y preciso.

Intermedio Alto escritura

cumple se manera simple con el tipo textual y el propósito solicitados.

puede tener alguna inadecuación en el registro pero se adecua a los parámetros de la situación comunicativa, porque identifica al destinatario, por ejemplo, y cumple con el nivel de formalidad necesario.

El texto está organizado, y es cohesivo pero con oraciones con poca complejidad sintáctica y léxica o algúna transición ambigua.

Tiene un léxico simple y adecuado en general. Morfología y sintaxis en general son adecuadas a la situación.

Intermedio escritura

cumple parcialmente con el tipo textual y el propósito solicitados.

puede tener alguna inadecuación en el registro. Puede no adecuarse totalmente a los parámetros de la situación comunicativa, por ejemplo en el nivel de formalidad o en el uso del registro o de enunciación o en la identificación del destinatario.

su texto es coherente con errores secundarios de cohesión.

puede haber algún error en el léxico de contenido y / o en el léxico de función. Es un léxico simple y adecuado en general. Morfología y sintaxis en general son adecuadas a la situación. Comete algún error menor de contenido y produce planteos y tonos informales.

Básico escritura

No cumple con el tipo textual ni con el propósito.

No tiene claros los parámetros de la situación comunicativa. Por ejemplo, hay inadecuaciones importantes en el registro o no identifica al destinatario.

Comete algunos errores de contenido aunque puede comprender el texto leído y produce un texto medianamente coherente con errores importantes de cohesión. Varios errores en el léxico de contenido y el de función, y de morfosintaxis.

No alcanza escritura

no cumple con el tipo ni el propósito ni el contenido. No comprende el texto leído/escuchado y su producción es escasa o el texto está muy desorganizado.

texto con muchos errores de coherencia y cohesión.

Sus errores de léxico pueden producir incomprensión. Muchos errores de morfosintaxis que impiden la comprensión.