EVALUACIÓN AL INTERIOR DEL AULA: UNA MIRADA

DESDE LA VALIDEZ , CONFIABILIDAD Y OBJETIVIDAD

Carla Förster MarínCristian A. Rojas-Barahona

CARLA FÖRSTER ES LICENCIADA EN CIENCIAS DE MAR DE LA UNIVERSIDAD CATÓLICA DEL NORTE, Y SE HA ESPECIALIZADO EN EL ESTUDIO DE LA EVALUACIÓN EDUCACIONAL Y LOS INSTRUMENTOS DE EVALUACIÓN DE APRENDIZAJES. SE DESEMPEÑA COMO DOCENTE EN LOS CURSOS DE EVALUACIÓN DE APRENDIZAJES Y CONSTRUCCIÓN DE INSTRUMENTOS DE EVALUACIÓN EN LOS DISTINTOS NIVELES DE FORMACIÓN (2004-2013) DE LA FACULTAD DE EDUCACIÓN UC.SUS LÍNEAS DE INVESTIGACIÓN SE RELACIONAN CON LA EVALUACIÓN DE LA HABILIDAD DE SOLUCIÓN DE PROBLEMAS Y LA CONSTRUCCIÓN Y VALIDACIÓN DE INSTRUMENTOS. PARTICIPA COMO ASESORA EN LA ELABORACIÓN DE LOS ESTÁNDARES PARA LA FORMACIÓN DE PROFESORES DE CIENCIAS NATURALES Y BIOLOGÍA. ACTUALMENTE ES JEFA DEL PROGRAMA DE FORMACIÓN PEDAGÓGICA DE LA FACULTAD DE EDUCACIÓN UC.

CRISTIÁN ROJAS BARAHONA ES PROFESOR ASOCIADO DEL DEPARTAMENTO DE APRENDIZAJE Y DESARROLLO DE LA FACULTAD DE EDUCACIÓN UC. DOCTOR EN PSICOLOGÍA POR LA UNIVERSIDAD DE GRANADA. ACTUALMENTE ES EDITOR ASOCIADO DE LA REVISTA PEL.

INTRODUCCIÓND O C E N T E J U I C I O D E V A L O R R E S P E C T O D E L A P R E N D I Z A J E Q U E A L C A N Z A N L O S E S T U D I A N T E S .C O N A N T E R I O R I D A D :❖ R E C O G E R I N F O R M A C I Ó N D E M A N E R A S I S T E M Á T I C A Y

C O N F I A B L E .❖ A N A L I Z A R L A C O R R E C T A M E N T E .❖ C O N T R A S T A R L A C O N U N R E F E R E N T E P R E V I A M E N T E

E S T A B L E C I D O .

A S Í , P O D E M O S O B T E N E R C O N C L U S I O N E S :❖ V Á L I D A S❖ C O N F I A B L E S❖ O B J E T I V A S

C A L I D A D D E U N A E V A L U A C I Ó N :➔ C O N S I S T E N C I A➔ A D E C U A C I Ó N➔ P E R T I N E N C I A

D E L O S P R O C E D I M I E N T O S E I N S T R U M E N T O S Q U E S E U T I L I Z A N P A R A E V A L U A R D E T E R M I N A D O P R O C E S O .

E L E M E N T O S E S E N C I A L E S :❖ V Á L I D E Z❖ C O N F I A B I L I D A D❖ O B J E T I V I D A D

A L I N T E R P R E T A R L O S R E S U L T A D O S P A R A P O D E R T O M A R D E C I S I O N E S D E Q U É Y C Ó M O E N S E Ñ A R .

E N F O Q U E P S I C O M É T R I C O L A E V A L U A C I Ó N M I D E C U A N T I T A T I V A M E N T E L O S N I V E L E S D E C O N O C I M I E N T O , H A B I L I D A D E S O C A P A C I D A D E S P A R A G E N E R A R C A T E G O R Í A S .

VALIDEZ

VALIDEZ

“ M E D I R L O Q U E S E P R E T E N D E M E D I R A C O R D E A U N A F I N A L I D A D ”

“ L A V A L I D E Z N O E S U N A P R O P I E D A D I N T R Í N S E C A D E U N I N S T R U M E N T O O S I T U A C I Ó N E V A L U A T I V A , S I N O U N A P R O P I E D A D D E L A I N T E R P R E T A C I Ó N Y L O S U S O S Q U E S E R E A L I Z A N D E L A I N F O R M A C I Ó N O B T E N I D A . ” ( F O R S T E R & R O J A S , 2 0 0 8 )

Prueba a gran escala

Prueba en contexto de

aula

➢ PSU➢ Estandarización de

resultados➢ Distribución normal➢ Sacar conclusiones sobre el

desempeño de los estudiantes para los fines específicos de la evaluación

➢ Prueba en el aula➢ “Evaluación de alta calidad”➢ Curva asimétrica de los

resultados➢ Indica el logro de lo que se

esperaba➢ Determinar el desempeño

y evidenciar la enseñanza de un contenido

Evaluación a gran escala Evaluación a nivel de aula

Las interpretaciones y las acciones tomadas son externas al proceso de medición.

Las deducciones y las acciones tomadas son internas al proceso de medición.

Los estudiantes son la “materia” sobre la que se realizan las observaciones, no tienen injerencia en la evaluación.

Los estudiantes son observadores conjuntamente con los profesores; “esas mediciones” corresponden a procesos formativos de evaluación.

Los estudiantes no reciben un beneficio directo de la evaluación, los análisis no son individuales.

Los estudiantes reciben beneficios individuales de la información de la evaluación.

El objetivo de la evaluación es realizar una inferencia significativa estadísticamente sobre el rendimiento de los estudiantes y/o la utilización eficaz de esa información para una finalidad determinada.

El objetivo de la evaluación es comprender cómo es el desempeño de los estudiantes comparado con el “ideal (definido en los objetivos de aprendizaje) y/o el uso efectivo de esa información para el aprendizaje.

???

?

Evaluación a gran escala Evaluación a nivel de aula

El contexto de una medición es un constructo irrelevante.

El contexto de la medición es un constructo relevante.

Las especificaciones del contenido describen un dominio en particular.

Las especificaciones de contenido reflejan el dominio (objetivo de aprendizaje) y la enseñanza (modos, actividades).

La administración del test es estandarizada y se controla el efecto de las ciencias, prácticas y diferencias culturales.

Las creencias de los profesores, sus prácticas y el conocimiento de la materia y de los estudiantes (incluyendo diferencias culturales y lingüísticas) son preocupaciones relevantes.

La evaluación es independiente de la enseñanza. Se puede relacionar con diferentes contextos a través de cruces de datos.

La evaluación es parte de la enseñanza. Una buena evaluación es un “episodio genuino de aprendizaje”.

??

?

?

VALIDEZ DE CONTENIDO

¿ Q U E E S L A VA L I D E Z D E C O N T E N I D O ?

Se entiende por validez de contenido a la correlación entre los contenidos presentes en una instancia evaluativa y la cobertura pertinente que tienen estos, respecto de otros presentes en el proceso realizado.

Validez de contenidos a gran escala:

A nivel de pruebas a gran escala, para la producción de índices de validez de contenido se han considerado variantes como:• Opinión experta: en cuanto a lo curricular y lo instruccional.• Muestras producidas mediante la aplicación de pruebas a los estudiantes.

• El número de ítems de cada contenido.

V A L I D E Z D E C O N T E N I D O S E N A U L A :

● A N I V E L D E A U L A , E L M É T O D O P A R A C A L C U L A R L O S Í N D I C E S D E V A L I D E Z D E C O N T E N I D O A G R A N E S C A L A N O S O N A P L I C A B L E S , D E B I D O A Q U E N O S E C U E N T A C O N L O S R E Q U I S I T O S P A R A E L L O .

● S E D E B E N C O N S I D E R A R L O S C O N T E N I D O S M Á S R E P R E S E N T A T I V O S , T R A B A J A D O S E N U N P E R I O D O D E T E R M I N A D O , P A R A Q U E L A E V A L U A C I Ó N P O S E A E N S U C O N S T R U C C I Ó N T A R E A S Y E S T Í M U L O S D E C A L I D A D , Q U E P U E D A N D E M O S T R A R E L L O G R O D E U N A P R E N D I Z A J E .

E L E M E N T O S Q U E C A R A C T E R I Z A N E L C O N C E P T O D E V A L I D E Z D E C O N T E N I D O :

● L A D E F I N I C I Ó N D E U N D O M I N I O D I S C I P L I N A R .● L A R E L E V A N C I A D E D I C H O D O M I N I O .● L A R E P R E S E N T A T I V I D A D D E L D O M I N I O . ● L O S P R O C E D I M I E N T O S D E C O N S T R U C C I Ó N D E L

I N S T R U M E N T O O S I T U A C I Ó N E V A L U A T I V A .

“ R E C U E R D O U N A P R U E B A Q U E I N V O L U C R A B A M U C H O S C O N T E N I D O S P E R O Q U E N O S H A B Í A N A N T I C I PA D O N O S E R Í A M E M O R Í S T I C A , S I N E M B A R G O , A L A H O R A D E E N F R E N TA R M E A L A P R U E B A E R A E V I D E N T E Q U E L A S R E S P U E S TA S D E B Í A N S E R L I T E R A L E S , P U E S L A S P R E G U N TA S E R A N M U Y E S P E C Í F I C A S Y N O A P U N TA B A N A L O Q U E E N E L C U R S O S E H A B Í A C O N S I D E R A D O C O M O R E L E V A N T E ” ( F O R S T E R & R O J A S , 2 0 0 8 )

R E C O M E N D A C I O N E S :

* E L A B O R A C I Ó N D E T A B L A D E E S P E C I F I C A C I O N E S D E L I N S T R U M E N T O , E N L A Q U E S E E X P O N G A E L C O N T E N I D O , E L O B J E T I V O O I N D I C A D O R D E A P R E N D I Z A J E , L A S H A B I L I D A D E S C O G N I T I V A S , A F E C T I V A S O P S I C O M O T O R A S Q U E E S T Á N A S O C I A D A S A L C O N T E N I D O Y L O S Í T E M S E L A B O R A D O S .

* V E R I F I C A R A T R A V É S D E C R I T E R I O D E J U E C E S :E X P O N E R A O T R O S D O C E N T E S E L I N S T R U M E N T O , L A P A U T A Y L A T A B L A D E E S P E C I F I C A C I O N E S .

Validez instru

ccional

¿En qué consiste la validez instruccional?

• Es aquella que tiene relación con lo que los estudiantes han tenido oportunidad de aprender durante las clases para responder correctamente durante una evaluación.

• Representa la relación entre lo que se enseña y lo que se evalúa.

¿Cuál es el problema que presenta la interpretación de los resultados?

• Es un problema ético que generalmente se da en las evaluaciones a gran escala.

• Se tiende a responsabilizar al docente y al estudiante. ¿De qué?

Validez semántica• En las situaciones de evaluación se

incluyen términos cuyo significado es conocido y compartido por el docente para sus estudiantes.

Recomendaciones para resguardar la validez instruccional

• Llevar un registro de lo que se enseñó en cada clase.• Se debe evaluar similarmente a como se trabajó en

clases con los estudiantes.• Utilizar planificación de clases.• Utilizar la tabla de especificaciones.• Utilizar lenguaje conocido por los estudiantes,

evitando recurrir a las llamada “palabras truco” para la construcción de enunciados.

VALIDEZ CONSECUENCIAL

VALIDEZ CONSECUENCIAL

“ En un trabajo en grupo uno de los compañeros no se prepara bien y, por esto, se pone nervioso y su parte de la exposición se nota más débil frente a las otras. Al momento de evaluar al grupo, el profesor pone una nota “promedio” donde se premia al estudiante con desempeño deficiente y se perjudica a los demás.”

¿Cuáles crees que son las consecuencias en los estudiantes que se generan de la situación anterior?

¿QUÉ ES?

Relación con las consecuencias y secuelas intencionales y no intencionales que tendrá el

uso de interpretaciones de la información recogida

Prueba a gran escala

Prueba en contexto de aula

➢ Toma de decisiones➢ Reformulación de políticas

públicas➢ Implicancias éticas y

sociales

➢ Relación con el propósito del diseño de la evaluación

➢ Efectos de la evaluación sobre la enseñanza y los aprendizajes de los estudiantes

PREGUNTAS QUE INDICAN VALIDEZ CONSECUENCIAL A NIVEL DE AULA

¿Los estudiantes adquieren una comprensión profunda de lo que están aprendiendo mientras preparan la evaluación?

¿Los estudiantes creen que son capaces de aprender nuevos conocimientos después de autoevaluarse en ejercicios de práctica en una evaluación?

¿Los estudiantes son capaces de transferir sus conocimientos en las tareas siguientes?

El hacer evaluaciones formativas, ¿llevan a un mayor aprendizaje del estudiante?

LO QUE RESTA VALIDEZ CONSECUENCIAL...

• Falta de motivación para participar en una evaluación.

• Interiorizar erróneamente un concepto.

• Generar un ambiente de competencia• Resentimiento por el formato de

evaluación.

RECOMENDACIONES PARA RESGUARDAR LA VALIDEZ CONSECUENCIAL

Definir claramente los propósitos y usos de la evaluación ¿Para qué evaluamos?

Diagnóstico Formativo Sumativo

Identificar claramente las evidencias que darán cuenta de los propósitos de la evaluación Correspondencia entre lo recogido y los fines

Planificación previa

CONFIABILIDAD“En una prueba de lápiz y papel, el profesor construye un único ítem de

verdadero y falso, en el cual se encuentran 15 afirmaciones a juzgar por los estudiantes. Los resultados no fueron buenos, y la mayoría de los estudiantes no superó la nota 5,0, por lo que el profesor se molestó diciendo que eso pasaba “cuando no se estudia correctamente”.

¿Cuán confiables pueden ser estos resultados? ¿En qué medida pueden ser evidencia de que los estudiantes no estudiaron correctamente o no generaron un aprendizaje real?

CONFIABILID

AD

• El concepto de confiabilidad hace referencia a consistencia, exactitud y estabilidad de los resultados, a las inferencias que se pueden realizar, y tiene directa relevancia en las conclusiones y posterior toma de decisiones (Luckett & Sutherland, 2000).

• Se relaciona con la consistencia de la medición, más allá de lo que se mida exactamente.

COMPARACIÓN DE LA CONFIABILIDAD DE EVALUACIONES A GRAN ESCALA Y EN LA SALA DE CLASES

Evaluación a gran escala Evaluación en el aula

La confiabilidad es la consistencia entre factores relevantes

La confiabilidad es la suficiencia de la información

El objetivo de la confiabilidad es tener una clasificación estable de los estudiantes en una escala de puntuación o una categorización estable a lo largo de un continuo de progreso.

El objetivo de la confiabilidad es tener información estable acerca de la diferencia entre el desempeño de los estudiantes y el “ideal”, tal como se definen en los objetivos de aprendizaje.

FACTORES QUE INFLUYEN EN LA CONFIABILIDAD DE UNA EVALUACIÓN

• Número de observaciones o evidencias de un aprendizaje influye en la consistencia interna del proceso evaluativo y en la adecuada conclusión respecto del logro del estudiante.

• Características de la aplicación de la evaluación claridad, tiempo, espacio físico.

• Precisión de la corrección y puntuación.

RECOMENDACIONES PARA RESGUARDAR LA CONFIABILIDAD

Aplicar al estudiante variadas situaciones evaluativas que midan el mismo aprendizaje.

Velar por la claridad de los ítems e instrucciones.

Velar porque el ambiente de aplicación sea similar en cuanto a recursos, espacios y tiempo.

Velar por la precisión de la corrección.

OBJETIVIDAD

Objetividad• ¿Qué es la objetividad?• ¿Se puede alcanzar la objetividad plena

en la evaluación?

Objetividad en evaluación• Se entiende como la calidad de un objeto en

sí, independiente de las consideraciones o juicios personales. En el ámbito evaluativo supone que tanto los instrumentos como el juicio que se emite a partir de la información recogida con ellos sean imparciales.

Prácticas que perjudican la objetividad en evaluación

• Asignación de puntajes diferentes entre estudiantes que tienen el mismo logro en una evaluación.

• Calificar a los estudiantes por el estilo de redacción.• No aplicar pauta.• Perjudicar a un estudiante por estar en malos

términos con él(la).

Recomendaciones• Informar a los estudiantes la intención de la

evaluación y los aprendizajes a evaluar.• Dar a conocer los criterios de evaluación y que estos

sean consecuentes con lo que se está evaluando.• Elaborar pautas de corrección.• Establecer previamente criterios de asignación de

puntaje en función de la relevancia y nivel de complejidad de los aprendizajes.

CONCLUSIONES

Evaluación como parte del proceso de enseñanza- aprendizaje: puede influir tanto positivamente como negativamente.

Los profesores de aula, por lo general no realizan evaluaciones a gran escala. Se consideran en el artículo los elementos que aportan al desarrollo de los aprendizajes y la evaluación de estos en contexto de aula.

La validez no se presenta en absolutos, depende del propósito de la evaluación y de la información que genera.

Validez de contenidos: cobertura y relevancia en un área disciplinar seleccionada. Validez instruccional: coherencia entre lo trabajado y evaluado.

Conclusiones

Validez consecuencial: consecuencias positivas o negativas de los resultados de la evaluación y el posible uso de esta información.

Relación entre validez instruccional y de contenido: relevancia en el área disciplinar seleccionada.

Confiabilidad: consistencia y precisión en el juicio ante la concreción del nivel de logro esperado.

Objetividad: precisión de la corrección y explicitación de los criterios.

MUCHAS GRACIAS POR SU ATENCIÓN