evaluación de competencias a nivel micro curricular...

Evaluación de competencias a nivel micro curricular: aplicación en un curso real

Álvaro Cabrera Maray - Teachers College, Columbia University

Introducción

• Experiencia real:

• Curso “Gestión de Proyectos Artísticos” - Facultad de Artes, Universidad de Chile

• Doble propósito:

• Conceptos clave y prácticas de evaluación de competencias aplicados en un caso real

• Ejemplo de investigación en (mi propia) docencia

Cabrera, A. (2016). “Evaluación de competencias a nivel micro curricular: aplicación en un curso real”. III Encuentro PUCP - Lima, Perú. 2

Índice

• I. Contexto• II. Diseño• III. Dispositivo de Evaluación• IV. Criterios de calidad• V. Discusión


I. Contexto del curso

• Transversal - Facultad de Artes• Segundo semestre 2009• Pequeño formato: 9 estudiantes Lic. en Artes c/m Artes Visuales• Aprendizaje basado en proyectos• Elementos comunes a diferentes perfiles de egreso:

• Competencias genéricas U. de Chile• Competencia transversal Facultad de Artes


I. Contexto / II. Diseño del curso

Perfilde

Egreso

CG1:

CG2:

CG3:

Ser socialmente responsable y comprometido con la ciudadanía

Trabajar en equipo

Ser autocrítico

CE: Gestionar proyectos artísticos

Competencias a las que el curso tributa


II. Diseño del curso: Resultados de aprendizaje

Perfilde

Egreso

CG1:

CG2:

CG3:

CE:

RA1:

RA2:

RA3:

RA4:

Producir una actividad artística con público para vivenciar las lógicas y necesidades de la producción en Chile

Expresar por escrito sus propias reflexiones y opiniones sobre la relación entre las expresiones artísticas y el concepto de Desarrollo Humano, para enriquecer su respuesta frente a la pregunta ¿Para qué producir proyectos artísticos?

Trabajar en equipo para organizar y llevar a escena un proyecto artístico con público en vivo

Estimar la seguridad en sus propias respuestas, analizar su confianza y prudencia (o imprudencia), para fomentar la metacognición y la reflexión sobre sus propios procesos de aprendizaje

Resultados de Aprendizaje (RA) del cursoContenidos del curso

Con-te-ni-dos

del

curso


II. Diseño del curso: indicadores y recursos

Perfilde

Egreso

CG1:

CG2:

CG3:

CE:

RA1:

RA2:

RA3:

RA4:

Indicadores + Recursos

I11:

I1:

I2:

I3:

I4:

I5:

Concibe y postula un proyecto artístico

Planifica un proyecto artístico

Produce (escenifica) un proyecto artístico

Conoce la estructura de formato de postulación FONDART

Reconoce los componentes de cadenas técnicas

I6: I7: I8: I9:

I12:I10: I13: I14: I15:

I16:

I17:

I18:

I19:

I20: I21: I22:

Realiza las tareas en los plazos requeridos

Participa de forma activa en los encuentros grupales

Colabora en la definición y distribución de tareas

Toma en cuenta los puntos de vista de los demás y es constructivo/a

Con-te-ni-dos

del

curso


Pregunta 7

PREGUNTA 7: ¿Cada curso (o cada actividad de

enseñanza - aprendizaje) evidencia la Triple Concordancia?


II. Diseño del curso: Triple concordancia

RA #1

RA #2

RA #3

RA #4

Objetivos de enseñanza / Resultados de aprendizajeMétodos Evaluaciones

Exposiciones

Demostraciones

Manipulaciones

Problemas

Proyecto

Discusiones Reflexión guiada

Proyecto

Problemas

Tests (PSM)

Reporte escrito

Eval. Pares

Auto Eval.


II. Diseño del curso: Triple concordancia


Exposiciones

Demostraciones

Manipulaciones

Problemas

Proyecto


Proyecto

Problemas

Tests (PSM)

Reporte escrito

Eval. Pares

Auto Eval.

I11:

I1: I2: I3: I4: I5:

I6:

I7: I8: I9:

I12:I10:

I13:

I14: I15:

I16:

I17: I18: I19:

I20:

I21: I22:

Dinámicos

Metacognitivos

Instrumentales

Específicos


• Radiografía del curso “Gestión de Proyectos Artísticos”.

• FUENTE: Cabrera, A. (2014). “Evaluar los aprendizajes en la pedagogía por proyectos”. En Leclercq, D. & Cabrera, A. (Eds). Ideas e innovaciones: Dispositivos de evaluación de los aprendizajes en la educación. Santiago de Chile. Editorial Universitaria.

II. Diseño del curso: Triple concordanciaAlvaro Cabrera Maray (2009) Tabla de Triple Concordancia curso 'Gestión de proyectos Artísticos", Facultad de Artes, U. de Chile

recursos R R R R

3 3 3 2 2 2 1 1 2 3 2 2 1 2 2 2 2 2 2 1 2 2

Imita 2 1 1 2Recibe 3 3 2 2 3 2 2 2

Practica 3 3 2 2 2 1 1 2 1Explora 3 3 2 2 2 2 2

Experimenta 2 2Crea 3 3 3 3 2 2 2 2

Debate 3 2 2 2 2Meta-aprende 2 1 2 2

Proyecto 3 3 3 2 2 2 2 2 2Portafolio 3 2 2 1 2 2 2

Problemas 3 3 2 2 2 1 1Pruebas 2 2 1 2 2 2

Reporte escrito en equipo 3 1 1 2Reporte oral en equipo 3 2

Tareas tecnológicas 2 1 1 2Evaluación de pares 3 3 1 2 2 2 2 1

Auto-evaluación 3 3 2 1 2 2 2 2 2

Ref

lexi

ona

sobr

e la

s po

lític

as c

hile

nas

para

Cul

tura

Pla

nific

a un

pro

yect

o ar

tístic

o

Con

cibe

y p

ostu

la u

n pr

oyec

to a

rtíst

ico

Ana

liza

su p

ropi

o de

sem

peño

en

la p

lan.

y p

rod.

en

equi

po

Ref

lexi

ona

sobr

e su

pro

pia

cont

ribuc

ión

al D

esar

rollo

Hum

ano

Tom

a en

cue

nta

los

punt

os d

e vi

sta

de lo

s de

más

y e

s co

nstru

ctiv

o

Rec

onoc

e lo

s co

mpo

nent

es d

e ca

dena

s té

cnic

as

Pro

duce

inte

rnet

2.0

Con

oce

la e

stru

ctur

a de

form

ato

de p

ostu

laci

on F

ON

DA

RT

Usa

el f

orm

ato

de p

ostu

laci

ón F

onda

rt on

line

Par

ticip

a de

form

a ac

tiva

en lo

s en

cuen

tros

grup

ales

Anal

iza

dese

mpe

ño d

e pa

res

en la

pla

nific

ació

n y

prod

ucci

ón e

n eq

uipo

Col

abor

a en

la d

efin

ició

n y

dist

ribuc

ión

de ta

reas

Rea

liza

las

tare

as e

n lo

s pl

azos

requ

erid

os

Importancia

RA n°1 RA n°2

Se

expr

esa

efic

azm

ente

en

resp

uest

as e

scrit

as

Usa

exc

el

Se

com

unic

a po

r em

ail (

grup

os, e

tc.)

OBJETIVOS DEL CURSO POR RESULTADO DE APRENDIZAJE (RA)

Eva

lúa

su g

rado

de

segu

ridad

en

sus

prop

ias

resp

uest

as

MÉTODOS

EVALUA

Pro

duce

(esc

enifi

ca) u

n pr

oyec

to a

rtíst

ico

Exp

lica

las

prin

cipa

les

polit

icas

chi

lena

s pa

ra C

ultu

ra

Exp

lica

el c

once

pto

de D

esar

rollo

Hum

ano

RA n°4RA n°3

Ref

lexi

ona

sobr

e có

mo

las

Arte

s co

ntrib

uyen

al D

esar

rollo

Hum

ano


RA #1

RA #2

RA #3

RA #4


Exposiciones

Demostraciones

Manipulaciones

Problemas

Proyecto


Proyecto

Problemas

Tests (PSM)

Reporte escrito

Eval. Pares

Auto Eval.

II. Diseño del curso: Métodos


• Modelo 8 Eventos de Aprendizaje (Leclercq & Poumay, 2005)

The 8 Learning Events Model and its principles. Release 2005-1.http://hdl.handle.net/2268/27042


Ilustraciones: Carlos Barboza Bascuñá[email protected]

www.flickr.com/giornelefantCabrera, A. (2016). “Evaluación de competencias a nivel micro curricular: aplicación en un curso real”. III Encuentro PUCP - Lima, Perú.

13

http://hdl.handle.net/2268/27042

http://www.flickr.com/giornelefant

• Estudiante -/- Profesor/a:

• 1) Imita -/- Modela




14



• 2) Recibe -/- Transmite




15



• 3) Practica -/- Guía



www.flickr.com/giornelefantCabrera, A. (2016). “Evaluación de competencias a nivel micro curricular: aplicación en un curso real”. III Encuentro PUCP - Lima, Perú. 16



• 4) Explora -/- Provee fuentes





• Estudiante -/- Profesor/a:• 5) Experimenta -/- Asegura reactividad

(crea un micromundo)






• 6) Crea -/- Facilita






• 7) Debate -/- Anima





• Estudiante -/- Profesor/a:• 8) Meta-reflexiona -/- Co-reflexiona





RA #1

RA #2

RA #3

RA #4


Exposiciones

Demostraciones

Manipulaciones

Problemas

Proyecto


Proyecto

Problemas

Tests (PSM)

Reporte escrito

Eval. Pares

Auto Eval.

III. Dispositivo de Evaluación


Concepto clave:DEA - Dispositivo de Evaluación de los Aprendizajes




• Un DEA es un grupo coherente de herramientas de evaluación que interactúan de forma coordinada para observar y medir los avances de los estudiantes y emitir juicios fundados sobre el aprendizaje producido, en una unidad de trabajo, un curso, un conjunto de cursos, o un programa curricular completo



Para ciertas finalidades

Un DEA permite elaborar síntesis de observacionesQue buscan expresar la medición de competencias, resultados de aprendizaje y/o saberes.Para eso de deben reunir ciertas condiciones,

Y herramientas,

Según criterios de calidad.

DEA: definición a través de sus componentes

Mejorar los aprendizajes de los estudiantes; certificar estos aprendizajes; mejorar la docencia…

Aplicando hipótesis lógicas y técnicas estadísticas (como reglas de puntaje, media del grupo, índices de ganancia y ganancia relativa, etc……)Competencias: actuaciones en situaciones complejas, que movilizan recursos internos y externos… Orientan a nivel de programa/carrera.RAs: desempeños complejos que movilizan e integran recursos. Orientan a nivel de curso.Saberes: conocimientos fundamentales, destrezas básicas…De foco, de objeto, de sujeto, de momento, de tipo de referencia, de agente evaluador, etc…

Técnicas de evaluación en aula, en laboratorio, en terreno, en situaciones reales o simuladas…Validez Ecológica, Teórica, Informativa, Consecuencial, Predictiva, Replicable, Aceptable y Deontológica.

Fuente: Leclercq, D. (2014). “Los componentes de un DEA”. En Leclercq, D. & Cabrera, A. (Eds). Ideas e innovaciones: Dispositivos de evaluación de los aprendizajes en la educación. Santiago, Chile: Editorial Universitaria.

Cabrera, A. (2016). “Evaluación de competencias a nivel micro curricular: aplicación en un curso real”. III Encuentro PUCP - Lima, Perú.

25


¿Cuáles son los cambios intelectuales y personales que pretendo ocurran en mis estudiantes producto de mi curso, como contribución a su formación global/integral?

¿Cuáles son las informaciones que consideraré como evidencia de que esas transformaciones están ocurriendo?

¿Cuáles son los instrumentos de evaluación (que domino/conozco, tengo la posibilidad de implementar) que mejor me proveen ese tipo de informaciones?

Adaptadas de dos preguntas de Bain (2004)

Preguntas clave en evaluación:


III. Dispositivo de Evaluación: condiciones

A. Las 3 facetas prioritarias A1. Función (PARA QUÉ) Sancionadora

FormativaA2. Referencias Criteriales (absolutas)

Normativas (relativas)A3. Precisión Sumativa

Diagnóstica B. Objeto (QUÉ) B1. Foco Productos Procesos

B2. Dimensiones Exactitud + Concisión Exactitud + Certeza Exactitud + Rapidez Exactitud + …………..C. Sujetos (QUIÉN) Individuos Grupos / equiposD. Destinatarios (PARA QUIÉN) Confidencial Intermedia PúblicaE. Agentes (POR QUIÉN) y en cuál ámbito (360°)

E1. Ámbito Escolar Docente/experto/ipso/pares E2. Ámbito profesional E3. Ámbito Intermedio

E4. en una relación Arbitraria Transaccional (confrontada)F. Tiempo (CUÁNDO) periodicidad

F1. Continua

F2. Puntual F3. Única F4. Repetida F5. MejorableG. Estandarización (CÓMO) G1. de la corrección subjetiva / objetiva G2. del contexto:

natural vs estandarizado, G3. adaptativo según contenido, exigencias, desempeños anteriores, lugar, momento.H. Previsibilidad de los

criterios H1. Anunciados H2. Escondidos H3. Intermedios

Fuente: D. Leclercq (2014). “El PRISMA de las características de un DEA”. En Leclercq, D. & Cabrera, A.

(Eds). Ideas e innovaciones: Dispositivos de evaluación de los

aprendizajes en la educación. Santiago, Chile. Editorial

Universitaria.

Plantilla para describir en forma sintética el prisma

(condiciones) de un DEA y sus componentes


III. Dispositivo de Evaluación: instrumentos


28

III. Dispositivo de Evaluación: instrumentos

PSM (reconocer)

PRB (evocar)Laboratorios (destrezas)

PSM Pruebas de Desarrollo

EjerciciosPresentaciones orales

SimulacionesProyectosInformes

Problemas

Grados de certeza

Tests metacognitivo

Portafolio reflexivo

Bitácoras de prácticas

(¿qué hice y qué me pasó

como persona

producto del hacer?)


29


(individual)(grupal)

(grupal/individual)(grupal)

(representación clásica)

Dispositivo de Eval. de los Aprendizajes en un curso

Proyecto (puesta en escena + registro web).…………. 35%Reporte escrito……………………………..…….………. 10%Pruebas (PSM)……………………………..…………….. 20%Resolución de problemas…………………………………20%Auto-evaluación…………………………………………….10%Evaluación de pares…………………………………….…..5%

(individual)(individual)

60% grupal40%individual




1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Problema

10%

30%

ProyectoPuesta

enescena

30%Web

5%

marzo julio

Prueba (PSM); pretest

sin nota

Prueba (PSM)10%

Prueba (PSM)10%

Problema

Problema

5%5%

Autoeval:

Trabajo en

equipo5%

Autoeval.

Eval.pares

5%

5%

Reporte escrito1:

plan prod.

Reporte escrito2: reflexión personal

5%5%

Proyecto (puesta en escena + registro web).………. 35%Reporte escrito……………………………..….………. 10%Pruebas (PSM)…………………………..…………….. 20%Resolución de problemas………………………………20%Auto-evaluación……………..………………………….10%Evaluación de pares………………………………….…..5%

Fuente: adaptado de Cabrera, A. (2014).

“Evaluar los aprendizajes en la pedagogía por

proyectos”. En Leclercq, D. & Cabrera, A. (Eds). Ideas e innovaciones:

Dispositivos de evaluación de los aprendizajes en la

educación. Santiago, Chile: Editorial Universitaria.




1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Problema

15% 10%

30%

ProyectoPuesta

enescena

30%Web

5%

marzo julio


sin nota

Prueba (PSM)10%

Prueba (PSM)10%

Problema

Problema

5%5%

Autoeval:

Trabajo en

equipo5%

Autoeval.

Eval.pares

5%

5%

Reporte escrito1:

plan prod.


5%5%





educación. Santiago, Chile. Editorial Universitaria.


1.2.

3.




1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Problema

15% 10%

30%

ProyectoPuesta

enescena

30%Web

5%

marzo julio


sin nota

Prueba (PSM)10%

Prueba (PSM)10%

Problema

Problema

5%5%

Autoeval:

Trabajo en

equipo5%

Autoeval.

Eval.pares

5%

5%

Reporte escrito1:

plan prod.


5%5%







1.


• 1. PSM:

Preguntas de Selección Múltiple

III. Dispositivo de Evaluación: PSMs

RA1:

RA2:

RA4:

Producir una actividad artística con público para vivenciar las lógicas y

necesidades de la producción en Chile

Expresar por escrito sus propias reflexiones y opiniones sobre la

relación entre las expresiones artísticas y el concepto de Desarrollo

Humano, para enriquecer su respuesta frente a la pregunta ¿Para qué

producir proyectos artísticos?

Estimar la seguridad en sus propias respuestas, analizar su confianza y

prudencia (o imprudencia), para fomentar la metacognición y la

reflexión sobre sus propios procesos de aprendizaje


Consigna simple o clásica

“Hay 1 de las k soluciones que es correcta y se puede dar 1 respuesta.”



ALTERNATIVA: Cascada divergente (D’Invernois & Chabot, 2003)

EJEMPLO - - - CONTESTE SÍ O NO A LAS 12 PREGUNTAS: Don Julio ingresa a la unidad de cirugía operado de colecistectomía, con vía venosa permeable, sonda nasogástrica, sonda Foley, un drenaje y requerimientos de oxígeno. Por indicación médica se le administra suero fisiológico 1500 cc a goteo lento, Profenid EV cada 8 hrs en bolo de 100 cc de suero fisiológico, durante las primeras horas presenta emesis cuantificada en 200 cc y diuresis por sonda foley de 600 cc.En el caso clínico anterior, son ingresos: Emesis (1__), Suero fisiológico (2__), Diuresis (3__), Drenaje (4__), Profenid (5__).Al medir el contenido del drenaje se obtienen 180 cc. Por lo tanto, el resultado del balance hídrico es -80 ml (6__), lo que implica un balance hídrico equilibrado (7__).Con el resultado obtenido ¿Concluiría usted que Don Julio se encuentra en riesgo de Hipervolemia (8__) y debe avisar al médico residente (9__)? ¿O concluiría que se encuentra bien, pero en observación (10__)? Al controlar posteriormente los signos vitales de Don Julio usted ve que su temperatura corporal es de 39º C. Por lo tanto, al hacer el balance hídrico usted debe considerar 12 ml menos de agua metabólica (11__) y 12 ml más de pérdidas insensibles (12__).

ALTERNATIVACascada divergente

D’Ivernois & Chabot (2003)


Cabrera, A. (2016). “Evaluación de competencias a nivel micro curricular:

aplicación en un curso real”. III Encuentro PUCP - Lima, Perú. 36

Pregunta 8


PREGUNTA 8: ¿El curso dedica tiempo suficiente a la

meta cognición, en sus componentes de auto-juicio, auto-diagnóstico, auto-

regulación?

37

Consigna simple o clásica

“Hay 1 de las k soluciones que es

correcta y se puede dar 1 respuesta.”

Grado de Certeza

Indique su nivel de seguridad en cada

respuesta

+




GRADOS DE CERTEZA

Fomenta sistemáticamente una de las operaciones metacognitivas: el juicio (sobre un producto –respuesta- durante una situación de evaluación –prueba-)

Con PRB y PSM

Elige un Grado de Certeza (GdC) entre:5% 20% 40% 60% 80% 95%.

Si ignoras completamente la respuesta, indícalo con la certeza 5% y contesta igual para evaluar tu conocimiento parcial

Consigna de Leclercq (2014)



Espectro de certezas en estados de recursos cognitivos

Confusión o mal conocimiento Ignorancia reconocida

?

Dominio o buen conocimientoImprudente o ignorada

(idea falsa)Prudente o reconocida

Con duda

Confiado

-95 -80 -60 -40 -20 -5 OM 5 20 40 60 80 95

total alta, temeraria

baja alta máxima

máxi-ma

alta baja alta total

peligrosas inutilizables utilizables% de Imprudencias

peligrosas (Concepciones

erróneas)

% de errores prudentes

= Prudencia

OM % de Confianzas Utilizables = Firmeza

% promedio de certeza = Imprudencia (media)

% promedio de certeza = Confianza o Firmeza (media)

Fuente: Leclercq, D. (2014). “Autoevaluación con grados de certeza: Un microscopio para la evaluación de los aprendizajes”. En Leclercq, D. & Cabrera, A. (Eds). Ideas e innovaciones: Dispositivos de evaluación de los aprendizajes en la educación. Santiago, Chile. Editorial Universitaria.

Respuestas incorrectas Respuestas correctas



Usos del espectro de certezas en análisis posteriores

Leclercq (2014)

A nivel de un test masivo completo (n de respuestas = 175.725)

Confianza e imprudencia a nivel de un dominio completo (vocabulario)



Figura 8: Una pregunta sin problema Figura 9: Una pregunta con problemas

Usos del espectro de certezas en análisis posteriores

de la Fuente (2014)

A nivel de cada respuesta en un test

Confianza e imprudencia a nivel de contenidos específicos

Fuente: Leclercq, D., de la Fuente, M., & Cabrera, A. (2014). “Retroalimentación al estudiante sobre sus evaluaciones”. En Leclercq, D. & Cabrera, A. (Eds). Ideas e innovaciones: Dispositivos de evaluación de los aprendizajes en la educación. Santiago, Chile. Editorial Universitaria.



Figura 4: comparación entre las distribuciones espectrales del estudiante 9 para la prueba n°1 de PSM, aplicación PRE y POST

Usos del espectro de certezas en análisis posterioresCabrera (2014)

A nivel de cada estudiante en un test; ganancia pre - post test

Confianza e imprudencia a nivel personal.Fomento de la metacognición


Pregunta 9


PREGUNTA 9: ¿Los componentes de las evaluaciones

(condiciones, instrumentos, niveles intelectuales, requisitos) reflejan altas expectativas que

corresponden con un nivel alto de exigencia?

44



1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Problema

15% 10%

30%

ProyectoPuesta

enescena

30%Web

5%

marzo julio


sin nota

Prueba (PSM)10%

Prueba (PSM)10%

Problema

Problema

5%5%

Autoeval:

Trabajo en

equipo5%

Autoeval.

Eval.pares

5%

5%

Reporte escrito1:

plan prod.


5%5%







2.


• 2. Proyecto:

Puesta en escena de un evento artístico con público real

III. Dispositivo de Evaluación: Proyecto

RA1:

RA3:

Producir una actividad artística con público para vivenciar las lógicas y

necesidades de la producción en Chile

Trabajar en equipo para organizar y llevar a escena un proyecto artístico

con público en vivo



Calificación (función sancionadora)

Criterio único:

El grupo logra la puesta en escena de una actividad artística con público.

- Calidad artística- Atmósfera lograda- Aspectos técnicos

- Organización- Recursos- Puntualidad- Etc, etc.

Puesta en escena (30%)

Plan de producción (5%)

Registro en web (5%)

Evaluación y calificación a través de 3 productos colectivos:

Logrado

No logrado

Cada aspecto de la puesta en escena, bajo el control de los estudiantes, ocurre como fue anticipado en la planificación (o mejor), y complicaciones menores

son resueltas con rapidez.

Supone la más alta calificación

Evaluación (intención formativa)

No incluida en la calificación, pero

sí en la retroalimentación

Muy probable

Cabrera, A. (2016). “Evaluación de competencias a nivel micro curricular: aplicación en un curso real”. III

Encuentro PUCP - Lima, Perú. 47


Puestas en Escena (2)Afiches

Artistas

Público



FortalezasPPP:

Aumenta Motivación

+ Percepción de control (Viau, 1994)

+ Percepción de valor (¿?)

Foco en satisfacer las expectativas de un público real, no en la obtención de una nota

Calificación criterio único:

Coherente con enfoque PPP

- Nota máxima = probable - ==> Desafío = calidad artística de la puesta en escena

Intenta aumentar motivación intrínseca y disminuir motivación extrínseca de regulación externa (Deci & Ryan, 1985)



Debilidades

1.Competencia de producción evaluada grupalmente por el profesor

2. Competencia de producción evaluada individualmente por el profesor

Un solo evaluador

No evaluada (solo grupalmente)

Se evaluó resolución de problemas (distintos al proyecto) y recursos aislados

Potencial problema de validez teórica de contenido



Regulación1. Competencia de producción

evaluada grupalmente por el profesor

2. Competencia de producción evaluada individualmente por el

profesor

Aumentar evaluadores

Jurado externo:

- 3 o 4 expertos/as- Pauta de observación

colegiada- Presentes (idealmente)

puesta en escena y montaje- Participan de la sesión de

retroalimentación

Instrumento que entregue evidencias de la capacidad de producción de cada estudiante

Bitácora de productor (individual):

- Referida al proyecto- Principales decisiones del grupo- Aportes personales (tareas; ideas)




1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Problema

15% 10%

30%

ProyectoPuesta

enescena

30%Web

5%

marzo julio


sin nota

Prueba (PSM)10%

Prueba (PSM)10%

Problema

Problema

5%5%

Autoeval:

Trabajo en

equipo5%

Autoeval.

Eval.pares

5%

5%

Reporte escrito1:

plan prod.


5%5%







3.


• 3. Autoevaluación y evaluación por pares:

Rúbricas para evaluar el trabajo

en equipo

RA3:Trabajar en equipo para organizar y llevar a escena un proyecto artístico

con público en vivo

III. Dispositivo de Evaluación: rúbricas para auto-evaluación y evaluación de pares


RúbricasEscalas descriptivas para evaluar desempeños complejos

(movilización de saberes en actuaciones observables, demostrando

actitudes)

Lógica incremental: el escalón superior supone el logro del anterior

Los niveles describen evidencias de logro del aprendizaje (o de dificultades en el proceso)

Apoyo para objetivar la evaluación y calificación de cada estudiante

Muestran itinerario esquemático en estadios de desarrollo de un aprendizaje

El o los jueces deben observar, estimar y emitir un juicio en tiempos estrechos



Pueden ser creadas para productos específicos y/o competencias genéricas

Pueden adaptarse para distintos agentes evaluadores:

- Jueces externos- Profesor/a- Autoevaluación- Evaluación de pares


Rúbricas



Rúbricas utilizadas

No escucha las intervenciones de sus compañeros y los descalifica sistemáticamente. Quiere imponer sus opiniones

Escucha poco, no pregunta, no se preocupa de la opinión de los otros. Sus intervenciones son redundantes y poco sugerentes

Acepta las opiniones de los otros y sabe dar su punto de vista en forma constructiva



Fomenta el diálogo constructivo e inspira la participación de calidad de los otros miembros del grupo

Fomenta el diálogo constructivo e inspira la participación de calidad de los otros miembros del grupoIntegra las opiniones de los otros en una perspectiva superior, manteniendo un clima de colaboración y apoyo

321 4Trabajo en equipo(Villa & Poblete, 2007):

Indicador nro. 4:Toma en cuenta los puntos de vista de los demás y retroalimenta de forma constructiva.

Formato evaluación de pares

5


1 2 3 4 5

Compañero 1:

Compañero 2:

Compañero 3:

Compañero 4:

1 2 3 4 5

Se ausenta con frecuencia y su presencia es irrelevante

Interviene poco en el debate, principalmente a requerimiento de los demás

Se muestra activo y participativo en los encuentros de grupo



Con sus intervenciones fomenta la participación y mejora la calidad de los resultados del equipo

Con sus intervenciones fomenta la participación y mejora la calidad de los resultados del equipo

Sus contribuciones son fundamentales tanto para el proceso grupal como para la calidad del resultado

Trabajo en equipo (Villa & Poblete, 2007). Indicador nro. 2: Participa de forma activa en los espacios de encuentro del equipo, compartiendo la información, los conocimientos y las experiencias.

Formato evaluación de pares


Rúbricas utilizadas

Hoja de respuesta: indica el nivel de la pauta en que ubicas a cada compañero/a


No cumplí con las tareas asignadas

Cumplí parcialmente las tareas asignadas y/o…

Cumplí las tareas asignadas



No cumplí los plazos requeridos

En los plazos requeridos



La calidad de mi tarea supuso un notable aporte al equipo

La calidad de mi tarea supuso un notable aporte al equipo

Mi trabajo orientó y facilitó el del resto de los miembros del equipo

321 4 Trabajo en equipo (Villa & Poblete, 2007). Indicador nro. 1: Realiza las tareas que le son asignadas por el grupo dentro de los plazos requeridos.

Formato auto-evaluación

Nombre: __________________________ 1 2 3 4 5

Indicador 1

Indicador 2

Indicador 3

Indicador 4

Suma total:


Rúbricas utilizadas5

Hoja de respuesta:


Fortalezas

• Permitió implementar autoevaluación y evaluación de pares

• Facilitó reflexión de los estudiantes; hizo visible una abstracción (trabajo en equipo)

• Gatilló diálogo entre los estudiantes

• Permitió comparación entre autoevaluación y evaluación de pares



Debilidades

- Competencia de trabajo en equipo evaluada individualmente por el profesor No fue evaluada



Ejemplo: curso “Legislación en el ámbito de la Salud” (Gillet & Marée, 2005)

Observación continua del trabajo en equipoAfecta calificación individual

En grupo, estudiantes preparan una ley

Cada clase (3 hrs.) en 2 partes:- Preparación de la ley - Debate parlamentario simulado

Profesor observa y registra las contribuciones individuales


Est. 1 Est. 2 Est. 3 Est. 4 Est. 5

Trabajo en

equipo

Cohesión con el equipo - - + + ++Asistencias + +Cortesía, respeto por los demásPropone ideas - ++Estructura los argumentos o los datos

Total

Al puntaje grupal obtenido en el proyecto (ley) se suman (+) o restan (-) puntos según lo observado


Pregunta 10


10. ¿Presenta el Dispositivo de evaluación de los aprendizajes (DEA)

8 tipos de calidad ?

62

IV. Criterios de calidad de un DEA

La calidad de un DEA se puede (debe) analizar de acuerdo a 8 criterios o dimensiones de validez

Ecológica Predictiva

Teórica

Informativa Aceptable

Consecuencial Deontológica

E

T

I

C

P

R

A

D

ModeloETICPRAD

(Leclercq, 2006)

Replicable


IV. Criterios de calidad

Aplicación de ETICPRAD al DEA del curso:

- Autenticidad- Cercanía a la realidad (profesional)

¿Qué tan cercanas a la realidad (profesional) son las condiciones

de la evaluación?

Validez EcológicaE Alta: - Proyecto - Cercano a la

realidad- Calificación coherente

con enfoque por proyecto




Validez Teórica

Moderada:

T

- De cobertura- De constructo

La evaluación ¿Cubre todos los saberes que deben ser

evaluados?

¿Se basa en teorías, en resultados de la investigación, en conocimiento establecido por

comunidades de práctica?

- Triple coherencia- Soporte en teoría

- Vacíos:- Competencia

producción, individual por el profesor

- Trabajo en equipo, individual por el profesor




Validez Informativa Alta: - Variedad de

instrumentos(multimodal)

- Grados de certeza

I

- Diagnóstica

¿Qué información me entrega la evaluación?

¿Y a los estudiantes?

¿Y a la Institución?




Validez Consecuencial

No evaluada:

- Faltan datosC

¿Qué efectos tiene la forma de evaluar?

(en las estrategias de estudio de los estudiantes, en la cultura de los

profesores, en la institución)




Validez Predictiva

No evaluada:

- Faltan datosP

¿Hay relación entre los resultados en estas evaluaciones logros posteriores de

estos estudiantes / egresados?




Replicabilidad (fiabilidad)

No evaluada:

- Faltan datosR

¿Cuál es la estabilidad de la evaluación en el tiempo, o de la corrección entre

jueces?

- Reliability




Aceptabilidad

Moderada:

- Aceptada por estudiantes

- Alta carga de trabajo (afecta viabilidad)

A

¿Es viable la evaluación?

¿Es aceptada por profesores y estudiantes?

- Viabilidad- Aceptabilidad por los actores

(estudiantes; profesores; institución)




Validez Deontológica

Moderada:

- Mismas condiciones- Revisión en busca de

sesgo sistemático

- Profesor no evaluó aporte individual a la producción grupal; potencial injusticia en cargas de trabajo de estudiantes

D

¿Son las condiciones de la evaluación iguales / equivalentes para todos los estudiantes?

¿Podemos evitar los sesgos al momento de evaluar? (de halo, de comparación)

- Justicia- Igualdad de condiciones para todos

los estudiantes


Ecológica Predictiva

Teórica

Informativa Aceptable

Consecuencial Deontológica

E

T

I

C

P

R

A

D

DEA curso “Gestión de proyectos artísticos”

Replicable



E

T

I

C

P

R

A

D

Juicio de validez(“validez es un concepto unitario” [AERA, 2014])


Propósitos:- Definir aprobación / reprobación

curso (Teórica, Informativa, Deontológica, Fiabilidad)

- Reforzar enfoque de pedagogía por proyectos (Ecológica)

- Mejorar docencia (Informativa)

Validez Predictiva menos relevanteValidez Consecuencial neutra o positiva

Para evaluar esos constructos, con esos propósitos y en esos estudiantes, sí; inferencias se consideran válidas;

(Chatterji, 2003)

¿Válido?


V. Discusión

¿Es necesario (o viable) desplegar, en un solo curso,

toda la variedad de instrumentos de evaluación de

este DEA?

Variedad no puede ser tarea de un solo profesor, o de cada profesor

aislado.

DEA de un solo curso no puede satisfacer todos los criterios de

calidad.

DEAs a nivel de un grupo de cursosDEAs a nivel del programa completo

Nivel meso-curricularCabrera, A. (2016). “Evaluación de competencias a nivel micro curricular: aplicación en un curso real”. III Encuentro PUCP - Lima, Perú.

75

Evaluación de competencias a nivel micro curricular: aplicación en un curso real.


Referencias

Leclercq, D. & Cabrera, A. (2014) (Eds). Ideas e innovaciones: Dispositivos de evaluación de los aprendizajes en la educación. Santiago, Chile: Editorial Universitaria.

Leclercq, D. & Poumay, M. (2005). The 8 Learning Events Model and its principles. Release 2005-1. Université de Liège.

Bain, K. (2004). What the best college teachers do. Cambridge, London: Harvard University Press.

Villa, A. & Poblete, M. (2007). Aprendizaje basado en competencias: Una propuesta para la evaluación de las competencias genéricas. Bilbao: Mensajero ICE / Universidad de Deusto.

Leclercq, D. (2006). “L’évolution des QCM”. En Figari, G. & Mottier-Lopez, L. (Eds). Recherches sur l’évaluation en Education. Paris: L’Harmattan, 139-146.

D’Ivernois, J.E., & Chabot, J.M. (2003). Guide de construction des cascades (convergentes et divergentes). Université de Paris 13, UER de médecine de Bobigny. DPSS.

Viau (1994). La motivation en contexte scolaire. Saint-Laurent. Québec. Editions du Renouveau pédagogique. 2da edición: 2009, Bruxelles: De Boeck.

Marzano, R. J. (2001). “Designing a New Taxonomy of Educational Objectives”. Experts in Assessment. Corwin Press, Inc., Thousand Oaks, CA.

Gillet, P., & Marée, M. (2005). “Un exemple de méthode active d’apprentissage: la simulation de séances parlementaires”. En Puzzle. CIFEN, Université de Liège, 18, 17-20.

Deci, E.L., & Ryan, R.M. (1985). Intrinsic motivation and self-determination in human behavior”. New York, Plenum Press.

Chatterji, M. (2003). Designing and using tools for educational assessment. Boston, MA: Allyn & Bacon.

American Educational Research Association, American Psychological Association, National Council on Measurement in Education (2014). Standards for educational and psychological testing. Washington, D.C.: Author


Evaluación de competencias a nivel micro curricular: aplicación en un curso real


evaluación de competencias a nivel micro curricular...

Documents