d. leclercq (2007) cinco problematicas de la evaluacion de las competencias. seminario mecesup....

D. Leclercq (2007) Cinco problematicas de la evaluacion de las competencias. Seminario MECESUP. Pucon 1

Cinco problematicas de la evaluacion de las competencias :

retos, definiciones, principios, funciones y validezas

Dieudonné [email protected]

Seminario MECESUP en PuconMarzo 2007


Paris


Liège, Belgica


www.ulg.ac.be Université de Liège au Sart-Tilman

(Faculdad de Psychologia y Educacion)

http://www.ulg.ac.be/


http://www.ifres.ulg.ac.be


http://www.formasup.eu/


http://www.labset.net/


Capitulo 1 Retos

Cinquo problematicas de la evaluacion de las competencias :

Retos, definiciones, principios, funciones y validezas


NB : Indicamos nombres y apellidos para facilitar la exploracion sobre el web.


Cuales objectivos de la educacion ? Tres puntos de vista

estudiantes

docentesempleadores

?


Pierre Verberen, Président Fef 1994

Estudiantes

Lo que preoccupe los estudiantes es de ver que lo que aprenden no es relacionado con su proximo futuro. Tienen miedo del mercado del empleo. Se sientan sin armas y no tienen el sentido que estan desarrollandoselos.


Effecto « retrasado » de la educacion :

cual solucion ?

Docentes

Solucion :

Arcitectura piramidal de capacidades

D. Leclercq (1987)


Geografie de ChinaVocabulario inglesAnatomia humanaHistoria de FranciaItinérarios y mapasCodigo de la circulacion…….…….Recetas culinarias

poco transferibles

Saberes y skills disciplinarios


Capacidades

LeerPreguntarse cuestionesTomar notasResumirUtilizar el dictionnarioExplorar un libroUtilizar un index……….Utilizar WordUtilizar ExcelUtilizar internet

transferibles Skills (tecnicos y generales)


Capacidades Auto-cognitivas (sobre sus saberes, su compétencia a resolver problemas, a adapterse otros, etc.

Conocerse :

Lo que consoco, y…Lo que hago bien, y…Lo en que puedo comprometirmeCon quien tabajo bien, y.. Que tipo de ayuda necesito

Para aprender eso, no hay libros : tenemos que vivir


Actidudas y compromiso Compromiso

Afiliarse en un grupoDefender una personaDefender un principioLLegar a cabo un projectoConcebir un projectoPasar tiempo haciendo…Dar su tiempo para…….


Savoirs et savoir-faire

disciplinaires

Metafora con una broca de barena

para confrontarse con

nuevos problemas


COBECenter for Outcome-Based Education

Understanding =

Self & Metacognition

The OpenUniversity

empladores

Efficacy Belief (capacidad de convencer, de aňadir valor.

Skills

Empleabilidad ?

Peter Knight

Competencias professionales

Programa « Skills + »


Understanding =

Self & Metacognition

Efficacy Belief

Skills

Peter Knight (2000) D. Leclercq (1987, 1998)

Competencias professionales


Capitulo 2 Definiciones y ejemplos





Inspirandome de • Jacqueline Beckers (U. Liège). Développer & évaluer des compétences à l’école.Bruxelles : Labor, 2002

• Gérard Scallon (U. Laval)L’évaluation des apprentissages dans une approche par compétences. Bruxelles : De Boeck, ..2003

• Xavier Roegiers (U. C. Louvain)Une pédagogie de l’intégration : compétences

et intégration des acquis dans l’enseignement. Bruxelles : De Boeck, 2000.

Utilizo el modelo siguiente


Evolucion historica de los objectivos educacionales

Contenidos x Actividades (mentales y practicales) =

= Capacidades (El estudiante sera capaz de .....)

Competencias

Contenidos

Contenidos x Actividades x Situacion(Roegiers, 2000)

(Mager, 1962)

espontaneas

autonomasContenidos x Actividades x Situacion nueva

(Beckers, 2002)

(Leclercq, 2007))


Competencia =

L’aptitud a poner en practica un conjunto organizado de saberes,

de skills d’actitudas

permintiendo de desempeňar una seria de tareas*

Articulo 5 del Decreto-Missiones de Julio 1997

*perteneciendo en una familia de situaciones)


Una formula para definir competencias

Contenidos x Actividades x Situacion nueva autonomas

Capacidades

Competencias

espontaneas


Contenidos x Actividades x Situacion nueva autonomas

Capacidades

Competencias

espontaneas

Ejemplo 1 : Escuela de conduccion de coche


Contenidos x Actividades x Situacion nuevaautonomas

Capacidades

Competencias

espontaneasContenidos x Actividades x Situacion nueva

autonomasCapacidades

Competencias



Competencias

espontaneas

Tipos de capacidades

Destrezas (maňas): Skills : Saber hacerlo : Gestos (desembragar, acelerar, encender las luces,..)

Saberes declarativos : saber que hacer, porque (leyes)

procedurales : saber como hacerlo

Actitud (placer de conducir, stress, cortesania, riesgo)

conditionales : saber cuando hacerlo

John ANDERSONCarnegie Mellon Pittsburgh

Prueba téorica Jacques TARDIFUniv. Sherbrooke Canada


Tipos de capacidades

Destrezas (maňas): Skills : Saber hacerlo : Gestos (desembragar, acelerar, encender las luces,..)

Saberes declarativos : saber que hacer, porque (leyes)

procedurales : saber como hacerlo

Actitud (placer de conducir, stress, cortesania, riesgo)

conditionales : saber cuando hacerlo

Ejemplo 1 : Escuela de conduccion de cocheEjemplo 1 : Escuela de conduccion de coche

Prueba practica


Capacidades

Competencias



Competencias



Competencias

espontaneas


Conocer (restituir)

Comprender (traducir)

Aplicar

Analizar

Sintetizar / crear

Evaluar / juzgar

Benjamin Bloom

Taxonomia de niveles de procesos mentales



Capacidades

Competencias



Competencias



Competencias

espontaneas



Capacidades

Competencias



Competencias



Competencias

espontaneas

Niveles de destrezas

Anita HARROW

Taxonmia Reflexos


Movimientos locom. y manip.

Percepciones (vis., audit., tact.,)y coordinaciones

Capacid. Fisicas (resistencia, fuerza,agilidad)

Adaptacion (juegos collectivos)

Communicacion -expresion



Capacidades

Competencias



Competencias



Competencias

espontaneas

Niveles de actitudes(nivel de

compromiso)

D. Krathwohl, Bloom & Masia

Taxonomia Reception

Respuesta


Valorisacion

Organisacion de un sistema de valores


Ejemplo 2 : Evaluacion en medicina en Maastricht

Testos* Lab tests Simulaciones* :

* ECOS = Examines Clinicos Objectivos y Estructurados

Internship

Progress tests,TCS, Blok tests


Capacidades

Competencias



Competencias



Competencias

espontaneas


Capitulo 3 Principios





Principio 1 : Combinar varios tipos de evaluacion



Principio 2 : Un eje de las metodologias de evaluacion

Testos Practicas

Simulaciones

Portfolios

InternshipPresentaciones

Informes,Tesis


Capacidades

Competencias



Competencias



Competencias

espontaneas

Contexto escolar-------------------------------------------------------Situacion Profesional

Problemas


Principio 3Principio 3 : Cada curso debe contribuir a los objectivos comunes (Peter Knight)


Competencias transversales - 11 docentes de Ciencias de la Educacion 2004 :

COMPETENCES : 1 2 3 4 5 6 7 8 9 10 11

1.Capacités critiques : V V V V V V V V V V V

1.Argumentation : V V V V V V V V V

1.Nombre : V V V V V V

1.Flexibilité : V V V V V V V V V V V

1.Exploitation de l’information : V V V V V V V V

1.Qualifications de recherches : V V V V V V V V

1.TIC : V V V V

1.Présentation : V V V V V V V V V V V

1.Travail problèmes : V V V V V V V V V V

1.Organisation du travail : V V V V V V V V V V

Siempre 21%

A veces 36%

Jamas 43%

La contribucion de cada curso a los objectivos comunes (D. Leclercq)


Capitulo 4 Funciones





Evaluaciones tienen

varios fines y caracteristicas

Rosa de los vientos de las

caracteristicas de la evaluacion

de groupeinstitutionnelle

à processus expliciteà jugement expliciteà décision explicite

J. TRANSPARENCE

Continuerépétée

améliorable

à repères mobiles adaptative

en contexte naturelsubjective

G. METHODE

ArbitraireExternePar expertsassistée

allocentrée

E. AGENTS

F. TEMPOS

formative critérielle

diagnostique répondanteà critères cachés

Processus-DémarcheSanction de la rép. finale

unidimensionnelle

Des personnesindividuelle

B. QuoiA. PourquoiH. REPERES

C.Qui

autocentréeautonomepar pairsinternetransactionnelle

E. Par qui

objectiveen contexte expérimental

standardiséeede progression

G. Comment

multidimensionnelle sanction du résultat

Produit B. OBJETS

Normative sommativesanctionnante

A. FONCTIONS

définitiveunique

ponctuelle

F. Quand

à décision impliciteà jugement implicite

à processus implicite

J. Avec quellevisibilité

H. Avec quelsrepères ?

D.Pour qui

publicD.DESTINATAIRE

Confidentielle-privée

C. SUJETS à critères annoncéspréordonnée

EVALUATION

D. Leclercq (2006)Evaluation et docimologie pour praticiens chercheurs.Editions de l’université de Liège.


A. Pourquoi

con fin

formativa

con fin sancionante

con precision

diagnostica con referencia

criterial

con precision

sommativacon referencia normative

Evaluacion

Mejorar l’aprendizaje

Seleccionar, certificar

Objectivos, umbrales de exito (Maestria)Examenes

Posicion segun los otros concursos

Una valor final y error de medida

Detecion de causasde faltas


Capitulo 5

Validezas





Principio 5 : Maximizar las cualidades de la evaluacionHay muchos tipos de Validezas :

Ecologica (cerca de la realidad)

Teoretica (conformidad a un modelo y cobierta de contenidos)

Informativa (diagnostica, sutileza, claridad)

Consecuencial (provoca algo, cambios )

Predictiva (correlacionada con otra cosa o futuro)

Replicabilidable (Reliability)

Acceptable por estudiantes (preparacion, valores),

por los docentes (valores, trabajo, tiempo)

Deontogica (equidad, confidencialidad, preparacion...)


Validez Ecologica

(authentica)

ETIC PRAD

No perfectamente : un maniqui y computador


Validez teoreticaTeoria : « El conoscimiento parcial existe. Medirlo es util y factible. »Grados de certeza con las respuestas : 0% 20% 40% 60% 80% 100%.

Spectrum de qualidad de -100 hasta +100 :

ETIC PRAD

0M 20 40 60 80 1000-20-40-60-80-100 -0

Incorretas Correctas En vez de

Dos hemispectros (forma ideal de la curva : J)

Incorretas Correctasmisconcepciones


1993

1982, 161-287

Leclercq & Poumay, 2006http://www.labset.net/media/prod/Metacognitive_indices_of_realism_in_self_assessment.pdf


Progress Testsen facultad de medicina de Maastricht

Tests de Progression à la Faculté de médecine de Maastricht

0

10

20

30

40

50

60

70

77 77 78 78 78 78 79 79 79 79 80 80 80 80 81 81 81 81 82 82 82 82 83 83 83 83 84 84 84 84 85 85 85 85 86 86 86 86 87 87 87 87 88 88

dates des tests

Pour

cent

age

de ré

ussi

te

Leclercq & Vandervleuten 1998, 199

La cohorte roja

october 78

December 78March 79

June 79

October 79

ETIC PRAD


Progress Tests

Tests de Progression à la Faculté de médecine de Maastricht

0

10

20

30

40

50

60

70

77 77 78 78 78 78 79 79 79 79 80 80 80 80 81 81 81 81 82 82 82 82 83 83 83 83 84 84 84 84 85 85 85 85 86 86 86 86 87 87 87 87 88 88

dates des tests

Pour

cent

age

de ré

ussi

te

Leclercq & Vandervleuten 1998, 199

en octubre 80

ETIC PRAD


Informativa.Resultados individuales a un Progress Test en medicina en Maastricht


Informativa : Mismos datos presentados en dos maneras

B. Verhoeven (2003). Progress Testing. The utility of an assessment concept. Doctoral Thesis. University of Maastricht.


Capitulo 8 : PBL

D. Leclercq(Liège)

Cees Van der Vleuten(Maastricht)


Validez Informativa o diagnostica

ETIC PRAD

Englehart (1994)

Bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla

bla bla bla bla bla

1 2 3 4 5 6-Estructura I---I---I---I---I---I---I-Terminos tecnicos I---I---I---I---I---I---I-Originalidad de ejemplos I---I---I---I---I---I---I

1 2 3 4 5 6I---I---I---I---I---I---II---I---I---I---I---I---II---I---I---I---I---I---I

1 2 3 4 5 6I---I---I---I---I---I---II---I---I---I---I---I---II---I---I---I---I---I---I

Ejemplo : el examen oral

Conclusion : non diagnostico, no bastante Informativo


ETIC PRAD

Validez Consecuential (Samuel Messick, 1984)

EEUU : QI & prejudicio, culture free tests Arthur Jensen

U.C. Berkeley University

Resultados de PruEbas eStandardisadas al Servicio de los Aprendizajes en Candidatura


memoria

comprension


Resultados han bajado mi incerteza con el vocabulario. Ahora se que es muy bajo.


Que ha usted apendido con

eso ?

Entendo peor que memorizo.

H


Ha usted cambiado su metoda de estudiar ?

No he cambiado nada.

B


He estudiado mas en profundidad, para entender antes de memorizar.

Ha usted cambiado su metoda de estudiar ?


RESSAC FAPSE ULG examens de juin-septembre 2000

28

32

9

48

7

43

56

22

55

23

0

10

20

30

40

50

60

Total 99-105 Leclercq 28-34 Mormont 23-27 Brédart 33-31 Crahay 15-13

Tau

x d

e r

éu

ss

ite

%R sans

%R avec

No

SI

Porcientos de exitos al examen en 4 cursos


Predictiva Corelaciones multiples en MOHICAN

NVP r %VE Predictores Filo y letras (N = 154)

1 0,28 8% Syntaxe MS*

2 0,36 13% Syntaxe MS* + Histoire MS*

3 0,38 15% Syntaxe MS* + Histoire MS* + CompGéo TE

Math MS* + Chimie MS* + ComprText TE + ComprText EC32%0,554

Math MS* + Chimie MS* + ComprText TE28%0,533

Math MS* + Chimie MS* 25%0,502

Math MS* 20%0,451

Prédicteurs%VErNVP

Math MS* + Chimie MS* + ComprText TE + ComprText EC32%0,554

Math MS* + Chimie MS* + ComprText TE28%0,533

Math MS* + Chimie MS* 25%0,502

Math MS* 20%0,451

Prédicteurs%VErNVP

Vetrinarios (N = 211)

Rojas = con certezaAzules = sin certeza


ETIC PRAD Validez de Replicabilidad o « Reliability »

Henri Piéron (1963) DOCIMOLOGIA CRITICA : notas al Bacchilerato de Francia

La ley de Posthumus : tendencia en la curva de Gauss

-Gjorgjeski (Rot & Butas, 1959) : 4 profesores re-notant las copias que habian obtenido “bien” por 5 otros notadores-ecuacion personal del notador : severos o laxistos.

Ahora continua segun el principio que se produce ciegamente, al azar !


ETIC PRAD Validez de Acceptabilidad - Aplicabilidad

Bruce Choppin

-Acceptabilidad teoretica : 3 modelos de la actividad mental de una persona que constesta una CEM-Acceptabilidad practica : desaparicion de los examenes orales por falta de tiempo

-Acceptabilidad social : -baremos de tarifas (exito con menos

de 50% respuestas correctas ????) -baremos que bajan la media !!

-Acceptabilidad psicologica : subrayar puntos postivos tambien


ETIC PRAD Validez Deontologica - etica

Piéron (1963) : Effectos -de halo-de estereotipo o de inercia-de constrasto-Posthumus

Me ha dado una notade 8/20 para tener una curva de Gauss

Valididad curicular : evaluar solo lo que ha sido enseňado o adiestrado !(Beckers, 2002, 119)

d. leclercq (2007) cinco problematicas de la evaluacion de las competencias. seminario mecesup....

Documents