dr. alberto alves de lima evaluación de las competencias clinicas el caso del mini-cex

Dr. Alberto Alves de Lima

Evaluación de las competencias clinicasEl caso del Mini-CEX

Expertise

Unidades únicas elaboradas y bien organizadas de conocimiento, que afloran habitualmente gatilladas por

patrones clínicos característicos

Implican la habilidad practica de manejo de problemas ambiguos y mal estructurados, balancear explicaciones

que compiten, evita cierres prematuros, identificar excepciones a las reglas y principios e inclusive elegir

bajo presión diferentes cursos de acción que son aceptables pero imperfectos

Ronald Epstein (2007)

Desarrollo de la expertise

Vision tradicional

Experiencia lleva a ser experto

Las personas alcanzan un nivel limitado estable de desempeño luego de una experiencia considerable

Hay una predeterminacion genetica que limita el nivel de desempeño que puede alcanzar el individuo

Vision moderna Los niveles de entrenamiento

y de experiencia estan vinculados debilmente medidas objetivas de desempeño

Individuos altamente experimentados pueden continuar mejorando a traves del entrenamiento

Individuos motivados pueden mejorar las habilidades adquiridas a un nivel mucho mayor

Ericsson KA. Acad Med. 2004

Desempeño experto vs. Habilidades del dia a dia

Ericsson KA. Deliberate Practice and the Acquisition and Maintenance of Expert Performance in Medicine and Related Domains. Acad Med. 2004

Desempeño profesional

El grado en que un individuo puede utilizar el

conocimiento, habilidades, el criterio asociado a su

profesión para llevar adelante eficientemente los

problemas relacionados con su práctica.

(Michael Kane, 1992)

El grado en que un individuo puede utilizar el

conocimiento, habilidades, el criterio asociado a su

profesión para llevar adelante eficientemente los

problemas relacionados con su práctica.

(Michael Kane, 1992)

MultidimensionalidadMultidimensionalidad Especificidad de contenido

Especificidad de contenido

Kane M. Evaluation and the Health professions 1992;15:163

Multidimensionalidad

Especificidad de contenido

Van der Vleuten et al. Teach and Learn 1990;2Kreiter Cet al. Acad Medicina 1998,

Carline et al. Eval health professions 1989;12:409. Alves de Lima et al. MT 2005

El ser competente frente a un caso / contexto no significa que lo sea frente a otro / contextoEl ser competente frente a un caso / contexto no significa que lo sea frente a otro / contexto

EstudiantesVan der Vleuten

16 hs

MédicosCarline10 – 17

observaciones

EstudiantesKreiter

8 = 0.65

MédicosAlves de Lima

10 - 50observaciones

Claves para el desarrollo de un desempeño competente

Ericsson KA et al. Psych Rev.1993. 100(3):363-406.

Trabajar con objetivos y

tareas concretas

Tener feedback

Repeticion

Auto-refleccion

Motivacion

Resistencia

Implica el procesamiento de información. Las nuevas cosas que aprendemos son influenciadas por nuestro

conocimiento previo asi la nueva información que procesamos esta en relación con la existente

Se trata de un proceso activo, de construcción, autodirigido en el cual el estudiante construye

representaciones propias de conocimiento que forma la interpretación personal de la experiencia de aprendizaje

Estas representaciones cambian constantemente en función del significado que el individuo le da a su

experiencia Duffy & Jonassen (1992)

Aprendizaje

El lente por donde se mire

SABE

SABE CÓMO

MUESTRA COMO

HACE ACCIÓN

DESEMPEÑO

RAZONAMIENTO

CONOCIMIENTO

Miller J. Acad Med, 1990

Evaluación en servicio

Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

Problemas

• Calidad de la evaluación• Problemas de exactitud• Acuerdo intra e interevaluador• Tiempo del hecho a la evaluación

• Contexto Información fragmentadaMuestra pequeña y no sistematizada de

observacionesContacto personal limitado

Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

Exactitud

203 profesores de medicina interna

Observaron 1 residentes (VIDEO)Randomizado

Observaron 1 residentes (VIDEO)Randomizado

Formulario abierto Formulario cerrado

Evaluaron el 30 % de las debilidades y fortalezas. Las

fortalezas fueron mas omitidas que las

debilidades

Evaluaron el 60 % de las debilidades y fortalezas. Las

fortalezas fueron mas omitidas que las

debilidades Noel GL: Annals of Internal Medicine 1991;114:393

Acuerdo intra e inter evaluadores

Intra evaluadores: - Atención- Perspectiva- Estandares- Humor

Inter evaluadores: - Diferente valor a diferentes aspectos Expertos vs NO expertos

- Diferentes expectativas de cuál es el nivel aceptable de competencia- Indulgentes y exigentes

Kalet A, Earp JA. Journal of General Internal Medicine 1992;7:499

Weekly JA, Gier JA. Academic of Management Journal 1989;32:213

Correlaciones NO uniformesAlves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

La Nación. 24.03.12

Tiempo del hecho a la evaluación

Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

Problemas

Calidad de la evaluación Problemas de exactitud Acuerdo intra e inter

evaluador Tiempo del hecho a la

evaluación

Contexto Información fragmentada Organizacion de datos

Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

Muestra pequeña y no sistematizada de observaciones

Información fragmentada

Frecuencia de las observaciones

Contacto personal limitado

Dar información a un estudiante o residente describiendo su

desempeño en una situación observada

Devolución

Alves de Lima. Medicina (Bs2008 Aires), 2008

Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

Observación directa

de un evento

Devolución

Apreciación del hecho vs patrón

(Pautado vs realizado)

Recomendación para mejorar

Recomendación para mejorar

Reacción10%

Autoreflexión10%

Plan de acción10%

Recomendación (90%)

Alves de Lima. Medicina (Bs Aires), 2008 Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

Datos generales

55 herramientas descriptas

21 (38%) solo con estudiantes32 (58%) solo con residentes

2 (4%) ambos (Mini-CEX)

58% caracter formativo13 % caracter sumativo

13 % ambos

Kogan J. et al. Tools for Direct Observation. JAMA 2009;302(12):1316-1326

Alves de Lima. REV ARGENT CARDIOL 2002; 70: 478-488.

Ejercicio de Examen ClínicoReducido

Mini ClinicalEvaluation eXercise

Habilidades para la Conducción de la Entrevista Médica:Facilita que el paciente explique lo que le pasa, usa eficazmente las preguntas y da instrucciones precisas y adecuadas para obtener la información necesaria; responde apropiadamente a las señales afectivas, verbales y no verbales.

Habilidades para la Conducción del Examen Físico:Sigue una secuencia eficiente, equilibrio entre los pasos de detección / diagnóstico del problema; información al paciente; sensibilidad al bienestar y pudor del paciente.

Cualidades Humanísticas / profesionalismo:Muestra respeto, compasión, empatía; genera confianza; atiende las necesidades del paciente en cuanto a bienestar, pudor, confidencialidad e información.     

Mini-CEX: consignas

Criterio Clínico: Ordena, selecciona los estudios diagnóstico en

forma apropiada, considera los riesgos, beneficios.

Habilidades para el Asesoramiento del Paciente:

Explica los fundamentos del estudio / tratamiento, obtiene el

consentimiento del paciente; instruye / aconseja con respecto a la

conducta a seguir.

Organización / eficiencia: Prioriza; es oportuno; sucinto.

Competencia Clínica Global: Demuestra criterio, síntesis, atención y

cuidado, eficacia y eficiencia.

Mini-CEX: consignas

0

50

100

150

200

250

300

Encuentros Residentes Evaluadores ProgramasNúmero 253 108 60 17

Mini-CEXNúmero de encuentros

Alves de Lima. Medical Teacher, 2007Alves de Lima. Medical Teacher, 2007; 29: 785–790

Mini-CEXComplejidad de los pacientes

Alves de Lima. Medical Teacher, 2007Alves de Lima. Medical Teacher, 2007; 29: 785–790

Mini-CEXFoco de encuentro

Alves de Lima. Medical Teacher, 2007Alves de Lima. Medical Teacher, 2007; 29: 785–790

Problemas

Alves de Lima. Medical Teacher, 2007

Mini-CEX

Alves de Lima. Medical Teacher, 2007; 29: 785–790

Ámbito

Alves de Lima. Medical Teacher, 2007

Mini-CEX

Alves de Lima. Medical Teacher, 2007; 29: 785–790

Grado de Competencia Global

Alves de Lima. Medical Teacher, 2007

Mini-CEX

Alves de Lima. Medical Teacher, 2007; 29: 785–790

18665726N =

year of residency

4321

95

% C

I O

vera

l co

mp

ete

ncy

9.0

8.5

8.0

7.5

7.0

6.518665726N =

year of residency

4321

95

% C

I O

vera

l co

mp

ete

ncy

9.0

8.5

8.0

7.5

7.0

6.5

Año de residencia

95 %

IC

Com

pete

ncia

Clin

ica

Glo

bal

Alves de Lima. Medical Teacher, 2007

Validez

Alves de Lima. Medical Teacher, 2007

Mini-CEX

ValidezMini-CEX

Alves de Lima. Medical Teacher, 2007; 29: 785–790

CONFIABILIDAD

Reproducibilidad

Analiza la situación en que dos scores obtenidos ya sea:

•2 ocasiones (test-retest)•2 formatos equivalentes (alternate forms)•2 observadores diferentes (inter-rater)

Consistencia Interna

El grado en que los ítems están midiendo cosas similaresUn concepto o constructo

Teoría de la Generalización

G(eneralizability)-study:Estima las fuentes de varianza que influencian la medición (e.j., varianza entre estudiantes, observadores, casos )

D(ecision)-study:Estima los indices de reproducibilidad en funcion de una muestra concreta (e.j., número de ejercicos, observaciones)

Vr

Vo

Vc

Vro

Vrc

Voc

Vroc

Diferencia en desempeño: Varianza verdadera

Exigente o indulgente

Dificultad del caso o procedimiento

Prejuicio

Aptitud (Especificidad de contenido / contexto)

Exigencia relacionada al caso. S/N experto

Error residual

Fuentes de varianza o error (G)

Alves de Lima et al. Advances in Health Science Education, 2011

ReproducibilidadMini-CEX

Alves de Lima. Medical Teacher, 2007; 29: 785–790

Alves de Lima et al. Advances in Health Science Education, 2011

G (Generalizability)-study

18 %

Alves de Lima et al. Advances in Health Science Education, 2011

D (Decision)-study

0,483 0,0,159/21+ 0,121/3+ 0,583/63+

0,483 + +0,0072 0,04 0,0008+ =

= 0,75

Alves de Lima et al. Advances in Health Science Education, 2011

D(ecision)-study

10 encuentros 1 observador

4 encuentros

3 encuentros 3 observadores

2 observadores

Alves de Lima et al. Advances in Health Science Education, 2011

Full nested C-R/observador

> 15 encuentros 1 observador

7 encuentros

4 encuentros 3 observadores

2 observadores