evaluar para mejorar paola ucelli1

Evaluar para mejorar la enseñanza y el

aprendizaje

Paola UccelliEscuela de Postgrado en Educación

Universidad de Harvard

ChileEnero, 2008

Por qué evaluamos¿cuál es el objetivo y para qué nos sirve una evaluación?

Qué evaluamos¿qué destrezas y dimensiones evaluamos?

Cómo evaluamos¿qué instrumentos utilizamos?

Quién evalúa¿quién o quiénes evalúan?

Para quién evaluamos¿a quién reportamos los resultados de una evaluación?

Objetivos del curso

• Entender la evaluación como una herramienta fundamental para mejorar la enseñanza

• Ampliar el conjunto de aspectos que se evalúan cuando se evalúa la comprensión de lectura en el aula

• Entender el rol fundamental del maestro en el diseño e interpretación de sus propios instrumentos de evaluación

• Recalcar la importancia de formar grupos de maestros para diseñar instrumentos de evaluación y discutir resultados.

Organización del curso• Marco general: Evaluación como investigación

Por qué evaluar: Roles de maestros, estudiantes y padres Qué evaluar: Definición de la comprensión de lectura Complejidad de destrezas a evaluar Tipos de Instrumentos

• Ideas útiles en el aula

Evaluación del vocabulario y el conocimiento previo Evaluación de la fluidez Evaluación de la comprensión Evaluación de la motivación e intereses Evaluación del ambiente pedagógico

• Recomendaciones generales

Recomendaciones Características de las evaluaciones exitosas

Marco General

por qué evaluar

Construir una prueba en la que los alumnos fracasan es muy fácil,

diseñar una prueba para aprender sobre los logros y dificultades de nuestros alumnos es

mucho más difícil. Michael Graves et al. (2004)

Si todos los alumnos salen mal en una prueba, el problema no es de los alumnos, ¡es del

maestro!Luis Jaime Cisneros

Evaluación de acuerdo a propósitos

Definición Propósito

Evaluación Evaluación

sumativasumativa

Evaluaciones que ocurren al final de un período de estudio, cuando los estudiantes tienen que demostrar que han aprendido el material cubierto en clase

Evaluar logros de aprendizaje

Evaluacion Evaluacion

formativaformativa

Evaluaciones enfocadas en aspectos específicos que ocurren continuamente en un aula

Informar la práctica pegagógica

Diseñar

instrumentos

Reportarresultados

Formular objetivos

Interpretardatos

Analizar datos

Recoger evidencia

Evaluación como

investigación

Michael Graves et al. (2004)

Diseñar

instrumentos

Reportarresultados

Formular objetivos

Interpretar

datos

Analizar

datos

Recoger evidencia

Evaluación como

investigación

En colaboración con otros maestros


Diseñar

instrumentos

Reportarresultados:

A padres ya estudiantes

Formular objetivos

Interpretar

datos

Analizar

datos

Recoger evidencia:

Varios textos y contextos

Evaluación como

investigación

En colaboración con otros maestros


Marco General

qué evaluar

la comprensión de lectura

es el proceso de extraer y construir significado a través de la interacción

con el lenguaje escrito.

Retos en la evaluación de la lecturaComprender un texto exitosamente requiere haber realizado con

éxito una serie de tareas: decodificación precisa y fluida, conocimiento del mundo, entender la estructura del texto y la

perspectiva del escritor/a para poder hacer inferencias apropiadas.

todo éstos deben ser considerados en una evaluación válida.

No es útil saber sólo que un estudiante no aprobó un examen, necesitamos saber por qué, cuáles son sus áreas de dificultad para poder diseñar una instrucción adecuada.

las implicaciones para qué y cómo enseñar en el aula son muy diferentes si el estudiante tiene problemas de decodificación, de vocabulario, de conocimiento del mundo o de inferencias.

Necesitamos evaluaciones que identifiquen destrezas y dificultades que guíen las opciones de enseñanza que toma el maestro/a.

La evaluación necesita identificar tanto el punto de partida de las habilidades en comprensión de lectura como el proceso de cambio en respuesta a la instrucción.

Modelo de

comprensión de lectura

Destrezas a nivel de la palabra

Convenciones, Propósitos y Estrategias de la lectura

Reconocimiento automático de palabras

Comprensión de Lenguaje Oral

Uso de Estrategias

Comprensión de

lectura

(Adaptado de McKennan & Stahl, 2003)

Lenguaje oral

y

Conocimiento del mundo

Destrezas al nivel de la palabra

ConcienciaFonológica

Decodificación Fluidez


Comprensión de

lectura

Conciencia fonológica

Habilidad de identificar y manipular los sonidos del habla (sílabas, rimas, descom-posición y fusión de partes, fonemas).

Decodificación

Habilidad de convertir en sonidos del habla las letras del lenguaje escrito.

Fluidez

habilidad de decodificar precisa y automáticamente con expresividad y entonación adecuadas.

Destrezas de lenguaje oral Y

conocimiento del mundo

Vocabulario

Estructuras (gramática y discurso)

Conocimiento del

mundoComprensión de

Lenguaje Oral

Comprensión de

lectura

Estructuras:

Conocimiento gramatical: frases complejas, conectores

Conocimiento discursivo: tipos de texto, referencia.

Vocabulario

Conocimiento amplio y profundo de los significados de las palabras

Conocimiento sobreconvenciones, propósitos y

estrategias

Concienciade lo impreso

Propósitos de la lectura

Estrategias de comprensión

Uso de Estrategias

Comprensión de

lectura

Conciencia de lo impreso

convenciones de la lectura: identificar la cubierta de un libro; el comienzo y dirección de la lectura; ilustraciones vs. palabras.


Entender por qué y para qué leemos. Saber que leemos para comprender

Estrategias de comprensiónLeer activamente para comprender:Predecir, resumir, preguntar, aclarar, visualizar

Modelo completo para la

evaluación e instrucciónde las áreas de la

comprensión de lectura






Vocabulario

Estructuras


Conocimiento del

mundoComprensión de

Lenguaje Oral

Uso de Estrategias

Comprensión de

lectura







Vocabulario

Estructuras sintácticas ydel discurso


Conocimiento del

Mundo

Comprensión de Lenguaje Oral

Uso de Estrategias

Comprensión de

lectura


Nombre del estudiante:

Tipos de Pruebas Individuales vs. Grupales

– Individuales: requieren respuestas orales de los alumnos y tienden a ofrecer resultados más confiables.

– grupales: más eficientes para administrar.

Formales vs. Informales– formales: traen instrucciones exactas de cómo

administrar y calcular el puntaje y constan de formatos preestablecidos.

– informales: el maestro adapta las instrucciones e interpretación o crea su propio test para evaluar a sus alumnos (ejemplo, una prueba en forma de ensayo escrito en respuesta a una pregunta del maestro).

prueba estándar basadas en – normas: comparan el puntaje de un niño con lo que se

espera de otros niños de su edad con las mismas características (percentiles, grado equivalente).

– criterios: comparan el puntaje de un niño con criterios o puntos de referencia preestablecidos. Son útiles para evaluar las destrezas ya adquiridas de un set de destrezas esperadas.

Pruebas Formales Disponibles

Área Test Adm. Referen. Duración Edades

CONCIENCIA FONOLÓGICA

TPAS Indiv. Normas 15 - 30 minutes

4;0 - 10;11

DECODIFICA-CIÓN Y FLUIDEZ

DIBELS** Indiv. Criterios 1 minuto c/subtest

K - 3er gr.

VOCABULARIO

PPVT

(Vocabulario receptivo)

Indiv. Normas 10 – 15 minutes

2;6 – 90+

Woodcock

& Muñoz

(Vocabulario expresivo)

Indiv. Normas 10 - 15 minutes

2;0 – 90+

LENGUAJE ORAL Y ESCRITO

Woodcock

& MuñozIndiv. Normas 25 – 55

minutes2;0 – 90+

Logramos Grupo Normas 60 minutes K - 12

** DIBELS: acceso gratuito a los materiales en: https://dibels.uoregon.edu/measures/materials.php

https://dibels.uoregon.edu/measures/materials.php

Los Mastros: los principales evaluadores

“Muchas de las pruebas de comprensión mejores y más informativas han sido

desarrolladas por maestros para informar su propia práctica [en el aula].”

(Snow, 2003)

Nos vamos a concentrar en algunas evaluaciones informales de gran utilidad en

el aula

Ideas útiles en el aula

Qué y Cómo evaluar

Conceptos de letra impresaMarca si el estudiante responde correctamente y si no sabe la respuesta.

1. Muéstrame la carátula/portada del libro. 2. Señala el título del libro. 3. Señala los dibujos en esta página. 4. En esta página, señala dónde debo empezar a leer. 5. Señala en qué dirección debo leer. 6. Y luego, ¿dónde sigo leyendo? 7. Señala una letra. 8. Señala una palabra. 9. Muéstrame dónde empieza y dónde termina la palabra. 10. Señala una letra mayúscula. 11. Señala una oración. 12. Muéstrame dónde empieza y dónde termina una oración. 12. Señala una letra minúscula.

Comentarios:

Evaluación del vocabulario y conocimiento previo

OE

AD

RFB

ICI

AON

UAV

OEA

DR

FBI

CIA

ONU

AV

¡Son las mismas letras!

OE

AD

RFB

ICI

AON

UAV

OEA

DR

FBI

CIA

ONU

AV

CREENCIAel significado está en el texto y el

lector sólo lo extrae

INVESTIGACIÓNel significado de un texto se

construye sobre la base de conocimiento previo y experiencia

Evaluación previa: texto

• ¿qué vocabulario es necesario saber para comprender el texto?– No sólo palabras técnicas o literarias, sino

palabras académicas generales

• ¿qué conocimiento del mundo es necesario para comprender el texto?– No sólo contenido del área académica, sino

conocimiento general del mundo

• ¿qué características del género del texto (narrativo, informativo, poema, etc.) pueden ayudar a la comprensión?– No sólo si la información es ficticia o real, sino

además características de la estructura del texto.

La rana que quería ser una rana auténticaAugusto Monterroso

Había una vez una rana que quería ser una Rana auténtica, y todos los días se esforzaba en ello.

Al principio se compró un espejo en el que se miraba largamente buscando su ansiada autenticidad. Unas veces parecía encontrarla y otras no, según el humor de ese día o de la hora, hasta que se cansó de esto y guardó el espejo en un baúl.

Por fin pensó que la única forma de conocer su propio valor estaba en la opinión de la gente, y comenzó a peinarse y a vestirse y a desvestirse (cuando no le quedaba otro recurso) para saber si los demás la aprobaban y reconocían que era una Rana auténtica.

Un día observó que lo que más admiraban de ella era su cuerpo, especialmente sus piernas, de manera que se dedicó a hacer sentadillas y a saltar para tener unas ancas cada vez mejores, y sentía que todos la aplaudían.

Y así seguía haciendo esfuerzos hasta que, dispuesta a cualquier cosa para lograr que la consideraran una Rana auténtica, se dejaba arrancar las ancas, y los otros se las comían, y ella todavía alcanzaba a oír con amargura cuando decían que qué buena rana, que parecía pollo.

Evaluación de la decodificación y la fluidez

Decodificación y Fluidez

¿Es el estudiante capaz de leer textos apropia-dos para su grado escolar con decodificación

automática y expresión adecuada?▼

• ¿utiliza el contexto para monitorear su lectura?• ¿lee con fluidez?• ¿reconoce las palabras más frecuentes

automáticamente?• ¿posee estrategias de decodificación exitosas?• ¿ha desarrollado una conciencia fonológica

adecuada?


Guía 1: Fluidez

Nivel 4

Lee principalmente en frases largas y con sentido. Pueden presentarse algunas repeticiones y desviaciones del texto, pero éstas no afectan la estructura de la historia. Mantiene la sintaxis del autor consistentemente y lee con expresividad apropiada.

Nivel 3

Lee principalmente en grupos de tres o cuatro palabras. Algunos grupos más cortos pueden estar presentes. Pero la mayoría de la entonación de frases es apropiada y mantiene la sintaxis del autor. Sin embargo, lee sin expresividad o con mínima expresividad.

Nivel 2

Lee principalmente en frases de dos palabras con algunos grupos de tres y cuatro palabras. Cierta lectura palabra por palabra puede estar presente. Los grupos de palabras suenan extraños y no están relacionados con el contexto de la oración o el párrafo.

Nivel 1

Lee principalmente palabra por palabra. Ocasionalmente lee frases de dos o tres palabras, pero son infrecuentes y no expresan construcciones sintácticas que tengan sentido.

Adaptado de NAEP (1995)

CREENCIAprimero debemos enseñar

decodificación y fluidez y después en años posteriores debemos

enseñar comprensión

INVESTIGACIÓNla comprensión debe promoverse desde el inicio de la enseñanza de

la lectura

Evaluación de la Comprensión del lenguaje

Comprensión del lenguaje

¿Es el estudiante capaz de comprender el lenguaje del texto?

▼• ¿tiene un vocabulario adecuado para su edad o

grado?• ¿tiene el conocimiento del mundo necesario para

comprender una lección o un texto específicos?• ¿es capaz de emplear estructuras de géneros

discursivos para guiar su lectura?


Comprensión

Los lectores exitosos son lectores activos. Es por eso que tanto en la enseñanza, como en la

evaluación debemos enfatizar y priorizar las actividades que propician mentes activas.

• Dos consideraciones importantes:

– Formato: los formatos que propician mayor actividad son más informativos (por ejemplo: leer-escribir-leer-editar).

– Contenido: las preguntas deben ser de distintos tipos: literales, inferenciales y de interpretación.

Preguntas de opción múltiple•La rana quería ser:

Una rana simpáticaUna rana inteligenteUna rana auténticaUna rana trabajadora

•¿Qué se compró la rana?Un plato de comidaUn sombreroUn peineUn espejo

•¿Para qué hacía sentadillas la rana?Para descansarPara que sus ancas se vieran mejorPara estar saludablePara divertirse

•¿Qué admiraba la gente en la rana?Su autenticidadSu humorSu espejoSus ancas

•¿Por qué la rana se cansó del espejo?Porque no se veía guapaPorque el espejo era viejoPorque no encontraba su autenticidadPorque estaba de mal humor

•Cuando la rana oía lo que la gente decía que parecía pollo se sentía

tristefelizorgullosafuriosa

Preguntas literales

• ¿Qué quería ser la rana?

• ¿Qué se compró la rana?

• ¿Cómo pensó que podía conocer su propio valor?

• ¿Qué era lo que la gente más admiraba en ella?

• ¿Para qué hacía sentadillas la rana?

• ¿Qué hacía la gente con las ancas de la rana?

• ¿Qué oía la rana decir mientras la gente comía?

Preguntas de inferencia

• ¿Por qué se cansó la rana de mirarse en el espejo?

• ¿Por qué quería la rana saber si los demás la aprobaban?

• ¿Por qué crees que la gente admiraba las ancas de la rana?

• ¿Cómo crees que se sentía la rana cuando todos la aplaudían?

• ¿Logra la rana su objetivo de encontrar su autenticidad?

• ¿Por qué la rana siente amargura cuando escucha lo que la gente dice?

• ¿Por qué lo que la gente dice al final resulta irónico?

Evaluaciones de performance

• PRODUCCIÓN es más importante que RECONOCIMIENTO.

• PROJECTOS Y DESARROLLO DE IDEAS ES MÁS IMPORTANTE: ÉNFASIS EN PROFUNDIDAD DE IDEAS Y PROCESOS

• UN JUICIO INFORMADO DEL MAESTRO ES UNA EVALUACIÓN MÁS AUTÉNTICA QUE EL PUNTAJE MECÁNICO DE UNA PRUEBA DE OPCION MULTIPLE.

Motivación e intereses

Propósitos, estrategias y motivación

¿Está el estudiante motivado e interesado y es conciente de los propósitos de la lectura y

de las estrategias para alcanzar esos propósitos?

▼– ¿qué intereses tiene y cuál es su nivel de motivación?– ¿qué conocimientos sobre la letra impresa posee?– ¿para él o ella, cuál es el objetivo de leer un texto?– ¿tiene un conjunto de estrategias que le permite

alcanzar distintos propósitos en su lectura?


Evaluación del ambiente pedagógico

Evaluación del ambiente pedagógico

Los estudiantes :• ¿pasan tiempo leyendo individualmente todos los días?• ¿Leen otros textos, además de los obligatorios que sirven para cubir

la disciplina del curso o para enseñar a leer?• ¿tienen propósitos claros y están motivados cuando leen?• ¿Tienen múltiples oportunidades para aprender vocabulario y

desarrollar conocimiento del mundo a través de los textos leídos? – ¿a través de lectura grupal y discusión de ideas?– ¿a través de la enseñanza explícita de vocabulario e información sobre el

mundo?• ¿Reciben instrucción para lograr una decodificación automática y

precisa?• ¿Pasan tiempo escribiendo textos para ser leídos y comprendidos por

otros?• ¿Participan en discusiones de calidad sobre los textos leídos?• ¿Se les enseña a los estudiantes a identificar cuáles son sus

propósitos al leer, se les enseña a activar su conocimiento previo relevante, a usar las estructuras del texto para ayudar a la comprensión?

• ¿Se evalúan las destrezas de comprensión lectura continuamente en el aula?

• ¿Cuántos géneros diferentes hay disponibles para los estudiantes? ¿Cuántos estudiantes leen textos de diversos géneros regularmente?

Adaptado de Duke & Pearson (2002)

Recomendaciones para construir evaluaciones efectivas e

informativas(Snow, 2003)

Recomendación 1: Reunir Grupos de maestros

Empezar con preguntas:

• ¿Qué significa leer con comprensión? ¿Cómo nos gustaría ver a nuestros estudiantes respondiendo a los textos?

• En las respuestas escritas u orales de nuestros estudiantes, ¿qué tomamos como evidencia de “comprensión”? (Analizar respuestas/proyectos de estudiantes de distintos maestros)

• ¿Cuál es la totalidad de la información que un maestro quisiera tener sobre sus estudiantes para poder planear una instrucción adecuada?

Trabajar con maestros de otros grados es muy beneficioso:

• la mayoría de aulas incluyen chicos con un rango de habilidades que pueden abarcar hasta dos grados de distancia. Una visión evolutiva de la comprensión de lectura se basa en que la comprensión oral es un elemento central.

• es importantísimo que los maestros de K y 1er grado estén involucrados en pensar sobre la comprensión de lectura y cómo evaluarla. La identificación temprana de niños que tienen dificultades de comprensión aumenta considerablemente las posibilidades de lograr intervenciones educativas exitosas.

Consideren evaluar no sólo el logro final, sino también una multiplicidad de destrezas y los procesos involucrados en la comprensión de lectura.

Evaluar: Precisión y fluidez en la decodificación, cantidad y profundidad de vocabulario y/o conocimiento del mundo, familiarización con textos narrativos e informativos, puede ayudar a los maestros a entender por qué sus alumnos tienen dificultades comprendiendo ciertos textos y por qué ciertos métodos de enseñanza son apropiados o inapropiados para ese grupo de estudiantes específico.

Es absurdo perder tiempo en el aula enseñando aspectos que los chicos ya dominan mientras ignoramos aquellos en los que nuestros alumnos necesitan más ayuda.

Recomendación 2: Prestar atención a los procesos

Recomendación 3: Evaluaciones que informan la práctica

pedagógica

– Discutir cómo las evaluaciones se relacionan a las actividades pedagógicas en el aula. El mayor propósito de las evaluaciones debe ser informar los métodos de enseñanza y reflejar el impacto de la enseñanza en el aula.

• Una visión evolutiva de la comprensión de lectura se basa en que la comprensión oral es un elemento central. Es así que, lectores con problemas de decodificación pueden demostrar una comprensión sofisticada con textos en los que las palabras son muy fáciles de leer. Por el contrario, lectores que son expertos decodificadores pueden mostrar una comprensión limitada por muchos otros factores relacionados la comprensión del lenguaje.

Recomendación 4: Diferencias individuales

Pensar en diferencias INTRA-individuales, particularmente para estudiantes con dificultades. Sabemos que los estudiantes con bajo rendimiento en la comprensión de ciertos textos, pueden demostrar mayores habilidades en circunstancias diferentes, por ejemplo, cuando leen un texto sobre un tema de gran interés o en un formato diferente. Entender las habilidades de un estudiante con frecuencia requiere observar difrencias en su performance en una variedad de actividades, con diferentes propósitos y diferentes textos y tipos de textos.

Tomar en cuenta diferencias dialectales, de vocabulario y de conocimiento del mundo según la procedencia cultural y las experiencias de los estudiantes.

Características

• Tienen como meta apoyar y mejorar el aprendizaje de los estudiantes

• Se basan en un modelo complejo y completo de comprensión de lectura

• Se enfocan en identificar las habilidades y no sólo las debilidades de los estudiantes

• Proveen información para ayudar no para castigar al estudiante

• Ofrecen información crucial para adaptar la instrucción a las necesidades de distintos estudiantes

• Proveen información que es útil a estudiantes, maestros, padres y administradores

Cuadro de intereses (Johns & Lenski, 2005)

Música que me gusta Deportes que me gustan Cosas que me gusta hacer

Mis pasatiempos favoritos

Animales que me interesan

Libros que he leído

Lugares que me interesan

Otros intereses Héroes y heroínas

evaluar para mejorar paola ucelli1

Documents