evaluación diagnóstica y formativa de competencias en … · 2019-09-24 · gaceta médica de...

Gaceta Médica de México. 2017;153

6

Evaluación diagnóstica y formativa de competencias en estudiantes de medicina a su ingreso al internado médico de pregradoAdrián Martínez-González1,2*, Alberto Lifshitz-Guinzberg3, Juan Andrés Trejo-Mejía1, Uri Torruco-García1, Teresa I. Fortoul-van der Goes4, Fernando Flores-Hernández1, Jorge Peña-Balderas1, Adrián Israel Martínez-Franco5, Alejandro Hernández-Nava3, Diana Elena-González3

y Melchor Sánchez-Mendiola1

1Secretaría de Educación Médica; 2Departamento de Salud Pública; 3Secretaría de Enseñanza Clínica e Internado Médico; 4Coordinación de Ciencias Básicas; 5Departamento de Informática Biomédica. Facultad de Medicina, Universidad Nacional Autónoma de México, Ciudad de México, México

GACETA MÉDICA DE MÉXICO ARTÍCULO ORIGINAL

Correspondencia: *Adrián Martínez-González

Secretaría de Educación Médica

Facultad de Medicina de la UNAM, Edif. B, 3er piso

Av. Universidad, 3000

Circuito Escolar, C.U.

Del. Coyoacán

C.P. 04510, Ciudad de México, México

E-mail: [email protected] Fecha de recepción: 11-01-2016

Fecha de aceptación: 05-02-2016

PERMANYERwww.permanyer.com

Contents available at PubMedwww.anmm.org.mx Gac Med Mex. 2017;153:6-15

Resumen

Introducción: Son escasas en Latinoamérica las investigaciones sobre evaluación diagnóstica y formativa de competencias durante el transcurso de un plan de estudios. Objetivo: Evaluar el nivel de competencias de los estudiantes a su ingreso al internado médico de la licenciatura de medicina en un nuevo currículo. Métodos: Estudio observacional, transversal, en estudiantes de la Facultad de Medicina de la UNAM en la Ciudad de México. Se evaluó formativamente a la segunda generación de estudiantes del Plan de Estudios 2010, como parte de la evaluación integral del programa. La evaluación fue teórica y práctica. Resultados: Se evaluaron 577 estudiantes (65.5%) de los 880 registrados que acreditaron el 9° semestre del Plan 2010. El examen teórico constó de 232 ítems, con media de 61 ± 19.6, un índice de dificultad de 0.61 y un alfa de Cronbach de 0.89. La media del examen clínico objetivo estructurado (ECOE) fue de 62.2 ± 16.8, y la del alfa de Cronbach fue de 0.51. Se obtuvieron resultados por área de conocimiento y estación. Conclusiones: Los resultados globales dan evidencia de que los estudiantes logran de manera suficiente las competencias establecidas en el Plan de Estudios al inicio del internado, y de que poseen las bases para aprender nueva información más compleja e integrarla con las ideas existentes para lograr aprendizajes significativos y continuar su formación.

PALABRAS CLAVE: Educación médica de pregrado. Evaluación formativa. Evaluación diagnóstica. Competencias. Examen clínico objetivo estructurado.

Abstract

Introduction: Research on diagnostic and formative assessment competencies during undergraduate medical training is scarce in Latin America. Objective: To assess the level of clinical competence of students at the beginning of their medical internship in a new curriculum. Methods: This was an observational cross-sectional study in UNAM Faculty of Medicine students in Mexico City: a formative assessment of the second class of Curriculum 2010 students as part of the integral

A. Martínez-González, et al.: Evaluación de competencias en medicina

7

Introducción

La Facultad de Medicina de la UNAM tiene más de 400 años como uno de los centros formadores de médicos más importantes en Latinoamérica. Además, ha introducido campos de conocimiento disciplinarios innovadores a nivel internacional en la formación de las nuevas generaciones. Un ejemplo de esto fue la integración de la asignatura Informática biomédica1 en el relativamente reciente cambio curricular importante denominado Plan de Estudios 20102.

El Plan de Estudios 2010 tiene una organización curricular por asignaturas, con un enfoque por competencias. «Competencia» se conceptúa como el conjunto de conocimientos, habilidades, actitudes y valores que, interrelacionados, permiten tener un desempeño profesional eficiente, de conformidad con el estado del arte. En el Plan se estableció el perfil del egresado por competencias, aprobado por el Consejo Técnico de la Facultad de Medicina el 17 de septiembre de 2008. El perfil de egreso se definió en términos de ocho competencias: 1) pensamiento crítico, juicio clínico, toma de decisiones y manejo de información; 2) aprendizaje autorregulado y permanente; 3) comunicación efectiva; 4) conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas en el ejercicio de la medicina; 5) habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación; 6) profesionalismo, aspectos éticos y responsabilidades legales; 7) salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad; y 8) desarrollo y crecimiento personal2.

El estudiante debe avanzar a través de cuatro fases secuenciales de formación y lograr gradualmente los perfiles intermedios con las mismas ocho competencias del perfil de egreso, con un nivel creciente de complejidad. La segunda generación del Plan 2010

ha terminado la segunda fase (5º a 9º semestres), constituida por 40 asignaturas.

La evaluación –entendida como «un término genérico que incluye un rango de procedimientos para adquirir información sobre el aprendizaje del estudiante, y la formación de juicios de valor respecto al proceso de aprendizaje…»3– implica un proceso sistemático de recolección de información a través de diversos instrumentos con evidencia de validez para la toma de decisiones fundamentadas sobre el proceso de enseñanza y de aprendizaje.

La evaluación puede ser formativa, como la que se utiliza para monitorizar el progreso del aprendizaje, y proporcionar realimentación al estudiante sobre sus logros, deficiencias y oportunidades de mejora4, lo que permite identificar aquellas que se hacen bien, para continuar haciéndolas así, y aquellas que tienen alguna deficiencia, para detectarlas a tiempo y corregirlas. Estas evaluaciones envían mensajes a los estudiantes que podrían conducirlos a maneras de aprender más efectivas y congruentes con el currículo5.

La evaluación puede ser diagnóstica cuando se realiza al principio de un curso o actividad académica con la finalidad de determinar el nivel de conocimiento, habilidad o actitud del educando. Esta información es de gran utilidad para el docente, ya que le permite hacer adecuaciones en el contenido y en la implementación de las actividades académicas programadas. También valora el comportamiento de un plan de estudios y es de gran utilidad para mejorar los programas académicos, comparar los resultados obtenidos y las competencias alcanzadas con los objetivos curriculares establecidos, verificar el nivel de logro de los perfiles según corresponda, detectar los campos de conocimiento fuertes y los deficientes, y proporcionar los resultados obtenidos en el examen diagnóstico a las instancias correspondientes y a los estudiantes para que se dé una adecuada realimentación.

evaluation of the program. The assessment had two components: theoretical and practical. Results: We assessed 577 stu-dents (65.5%) of the 880 total population that finished the 9th semester of Curriculum 2010. The written exam consisted of 232 items, with a mean of 61.0 ± 19.6, a difficulty index of 0.61, and Cronbach’s alpha of 0.89. The mean of the objective structured clinical examination (OSCE) was 62.2 ± 16.8, with a mean Cronbach’s alpha of 0.51. Results were analyzed by knowledge area and exam stations. Conclusions: The overall results provide evidence that students achieve sufficiently the competencies established in the curriculum at the beginning of the internship, that they have the necessary foundation for learning new and more complex information, and integrate it with existing knowledge to achieve significant learning and continue their training. (Gac Med Mex. 2017;153:6-15)

Corresponding author: Adrián Martínez-González, [email protected]

KEY WORDS: Undergraduate medical education. Formative assessment. Summative assessment. Competencies. OSCE.


8

El propósito del presente estudio fue evaluar el nivel de competencia clínica de los estudiantes al inicio del internado médico de pregrado (10° semestre), mediante la evaluación diagnóstica formativa, teórica y práctica de acuerdo con el Perfil Intermedio II del Plan de Estudios 2010.

Método

Escenario educativo y participantes

La Facultad de Medicina de la UNAM es una institución pública en la Ciudad de México que actualmente tiene más de 15,000 estudiantes de pregrado y posgrado. Es la escuela de medicina más grande del país. El Plan de Estudios tiene ocho competencias genéricas, definidas en el Perfil de Egreso y con diferentes niveles de complejidad durante el programa, también definidas en los Perfiles Intermedios I y II, al final del segundo año y del 9º semestre de la carrera, respectivamente2. En el plan integral de evaluación del programa, aprobado por las diversas instancias colegiadas de la UNAM, se estableció que al final de los Perfiles Intermedios I y II se realizara una evaluación diagnóstica formativa en la que se evaluaran, con diversos instrumentos, los conocimientos y las competencias adquiridos al final de cada fase del currículo. Este reporte es de la primera evaluación realizada del Perfil Intermedio II en la Facultad de Medicina, a la generación de estudiantes que ingresó en el año 2011 y que acreditaron la totalidad de asignaturas para ingresar al internado médico de pregrado (10° y 11° semestres del programa).

Diseño del estudio

Se realizó un estudio observacional, transversal, con instrumentos de evaluación de conocimientos y competencias, específicamente diseñados para el Perfil Intermedio II.

Estructura de la evaluación teórica

Se diseñó un examen general de conocimientos, con el formato escrito de preguntas de opción múltiple de una sola respuesta, siguiendo las recomendaciones internacionales para un instrumento de esta naturaleza6. Se elaboró la tabla de especificaciones de acuerdo con el Perfil Intermedio II del Plan 2010 para conformar el examen teórico, que incluyó conocimientos de las áreas Clínica y Sociomédica. Se tomó en cuenta

la carga crediticia de cada asignatura del 5º al 9º semestre, y por consenso de expertos se integraron en siete áreas de conocimiento, como se observa en la tabla 1. Se solicitaron a los Departamentos Académicos reactivos para cada una de las asignaturas del 5º al 9º semestre, considerando los programas de las asignaturas y los conocimientos esenciales que debe poseer el estudiante para comprender los contenidos académicos y la práctica clínica del internado de pregrado del Plan de Estudios. Posteriormente se realizó la selección y el ajuste de los reactivos por un grupo de expertos en evaluación, cuidando la validez de contenido y descartando aquellos que no seguían los criterios propuestos por Haladyna, et al.7. Finalmente, el examen se conformó de acuerdo con la tabla de especificaciones por 232 reactivos de opción múltiple, independientes y con cuatro opciones de respuesta (Tabla 1).

La evaluación se realizó en computadora en el Centro de Evaluación Computarizada de la Facultad de Medicina en Tlatelolco, y se dio un tiempo de respuesta por reactivo de 0.96 minutos. Se contó con 450 computadoras, por lo que se realizaron dos turnos de 4 horas, tomando medidas para disminuir las posibilidades de comunicación entre los dos turnos de estudiantes. En reuniones informativas previas al examen se invitó a los estudiantes a participar voluntariamente. El examen se efectuó el miércoles 14 de octubre de 2015, de 8:00 a 12:00 h y de 13:00 a 17:00 h.

Para el análisis psicométrico del examen teórico se empleó el software ITEMAN V.4 (Assessment Systems Corporation; www.assess.com) con el modelo de teoría clásica de los test. Se eliminaron los reactivos del instrumento original que tenían características psicométricas inadecuadas (reactivos con discriminación negativa y posible doble respuesta). Los resultados globales, por área y por asignatura, se presentan con la información obtenida de esta versión del instrumento.

Estructura de la evaluación práctica

El examen clínico objetivo estructurado (ECOE) incluyó atributos de seis competencias del Perfil Intermedio II del Plan de Estudios 2010. Se elaboró una tabla de especificaciones de acuerdo con el perfil mencionado y se solicitó la colaboración de los departamentos académicos en la elaboración de estaciones estandarizadas, considerando especialmente las habilidades que debe poseer un estudiante al término del 9º semestre de la licenciatura. Participaron en todo el


9

proceso profesores con experiencia en la elaboración de estaciones de ECOE para evaluaciones formativas y sumativas de la Facultad de Medicina. Posteriormente se realizaron la selección y la adecuación de estaciones por expertos en evaluación, los cuales elaboraron el material de apoyo para cada estación, como son los resúmenes de escenarios clínicos, las rúbricas con escalas globales y los libretos para los pacientes estandarizados. Ya con los instrumentos se realizó una prueba piloto para poder realizar los ajustes pertinentes, la cual se llevó a cabo en unidades del primer nivel de atención médica con el fin de tener un contexto realista.

En las estaciones se utilizaron personas no enfermas (médicos pasantes en Servicio Social) que se capacitaron para representar un problema de salud en forma consistente como pacientes estandarizados. El ECOE quedó conformado por cinco estaciones estandarizadas de 12 minutos cada una en dos circuitos simultáneos. En la tabla 2 se especifican los temas de cada estación y su relación con las competencias. Se realizaron reuniones informativas con los estudiantes, a quienes se invitó a participar voluntariamente y se mantuvo la confidencialidad de sus resultados.

Los estudiantes se evaluaron en cada estación de manera objetiva y estructurada por medio de rúbricas con escalas globales predefinidas desarrolladas por expertos en el área y validadas en la prueba piloto. El resultado por estación se reporta en porcentaje de

aciertos en los instrumentos citados. Para obtener el porcentaje de aciertos, el instrumento empleado para evaluar cada estación tiene una escala valorativa de nueve indicadores con cuatro puntajes posibles para cada elemento, que va de 1 (insuficiente) a 4 (excelente); cada uno de los indicadores tiene un peso porcentual determinado dependiendo del atributo de la competencia clínica evaluada en cada estación, y los nueve indicadores en su conjunto suman un total posible del 100%. El promedio de los porcentajes de las cinco estaciones de cada circuito determina el puntaje global de cada sustentante. Lo anterior permite una mejor realimentación de los participantes dentro del contexto educativo, al poder traducir fácilmente el resultado global en una escala a 100 (Tabla 2).

El ECOE se aplicó a 523 (59.4%) de los 880 sustentantes registrados. Fue realizado en ocho sedes clínicas simultáneas del primer nivel de atención médica, con un promedio de 65 estudiantes por sede. El total de evaluadores fue de 176 profesores de los distintos departamentos académicos que se capacitaron previamente; el número de evaluadores por sede en promedio fue de 22. El examen se llevó a cabo el sábado 10 de octubre de 2015, de 8:00 a 17:30 h, en seis turnos de 1 hora.

Los resultados de cada estudiante se capturaron en hojas de lector óptico diseñadas para tal fin, en cada una de las estaciones por las que rotaban. Para las fases teórica y práctica de la evaluación se realizaron

Tabla 1. Contenido del examen teórico por área de conocimiento, porcentaje de reactivos utilizados y asignaturas correspon-dientes a cada área

Áreas de conocimiento Porcentaje Asignaturas

Área 1: Medicina interna 39.6 Algología; Cardiología; Dermatología; Endocrinología; Farmacología terapéutica; Gastroenterología; Geriatría; Hematología; Infectología; Nefrología; Neumología; Neurología; Nutrición humana; Psiquiatría; Rehabilitación; Reumatología

Área 2: Cirugía 13.2 Cirugía y urgencias médicas; Oftalmología; Otorrinolaringología; Traumatología y ortopedia; Urología

Área 3: Ginecoobstetricia 7.2 Ginecología y obstetricia

Área 4: Pediatría 8.8 Genética clínica; Pediatría

Área 5: Sociomédica 9.6 Antropología e interculturalidad; Bioética médica y profesionalismo; Epidemiología clínica y medicina basada en evidencias; Historia y filosofía de la medicina; Medicina legal; Medicina psicológica y comunicación; Salud ambiente y trabajo

Área 6: Propedéutica 12.8 Propedéutica médica y fisiopatología

Área 7: Proceso de diagnóstico/Paraclínicos

8.8 Anatomía patológica I; Anatomía patológica II; Imaginología; Laboratorio clínico


10

pruebas de estadística descriptiva (media y desviaciones estándar) que se analizaron con el paquete estadístico JMP versión 8 (SAS Institute; www.jmp.com), realizando la prueba alfa de Cronbach y el análisis de generalizabilidad con la teoría G8.

Elaboración de reportes

Con los resultados de las evaluaciones teórica y práctica se elaboraron reportes para diferentes poblaciones, con la información relevante para cada una de ellas: para los funcionarios de la Facultad de Medicina, para los Departamentos Académicos y un reporte individual para cada estudiante. En el reporte de realimentación individual para los estudiantes se describían sus resultados en la evaluación del conocimiento para cada una de las siete áreas de conocimiento (Medicina interna, Cirugía, Ginecoobstetricia, Pediatría, Sociomédica, Propedéutica, Procesos de diagnóstico/paraclínicos) y en forma global, de manera cuantitativa y visual, anotando la puntuación del estudiante y el promedio global de la generación, en una escala transformada de 500 a 1500. Además, se presentaba la puntuación transformada para la evaluación práctica de cada una de las estaciones y competencias

evaluadas, también anotando la puntuación del estudiante y el promedio global de la generación. El reporte individual fue entregado de manera confidencial a cada estudiante que participó en el proceso.

Aspectos éticos

El proyecto forma parte del Plan de Evaluación y Actualización del Plan de Estudios 2010 de la licenciatura de médico cirujano de la Facultad de Medicina de la UNAM, aprobado por las instancias colegiadas pertinentes. Las estrategias de evaluación de dicho Plan incluyen la aplicación de las evaluaciones diagnósticas y formativas de los Perfiles Intermedios, en las facetas teóricas y prácticas, que forman parte de las actividades de evaluación y mejoría de la calidad de la evaluación curricular. La participación de los estudiantes en el estudio fue voluntaria. Para efectos del presente trabajo se eliminaron los identificadores individuales; se presentan únicamente resultados agregados, manteniéndose en la elaboración del manuscrito el anonimato de los estudiantes.

Resultados

Resultados del examen teórico

El total de alumnos que presentaron el Examen Teórico fue de 577 (65.5%) de los 880 registrados que acreditaron el 9° semestre del Plan de Estudios 2010. Se realizó el análisis psicométrico de los resultados con el programa Iteman, con el modelo de teoría clásica de los test, como se describió en Método. Se eliminaron 18 reactivos (7.2% del total de 250) del instrumento original por tener características psicométricas inadecuadas, usando como instrumento de evaluación final el integrado por 232 reactivos seleccionados. Los resultados se presentan con la información obtenida de esta versión del instrumento. Al depurar los reactivos mejoraron las características psicométricas del instrumento, como la discriminación y el alfa de Cronbach. El promedio de aciertos (índice de dificultad) en la fase teórica fue de 61 ± 19.6 (promedio ± desviación estándar), la discriminación (coeficiente de punto biserial) fue de 0.18, la confiabilidad con alfa de Cronbach fue de 0.89, el error estándar de medición fue de 6.4, y los valores mínimo y máximo de aciertos fueron de 73 y 194, respectivamente.

En la figura 1 se observa que las áreas de conocimientos con mayor puntuación fueron Ginecología y Obstetricia, Pediatría y Propedéutica, en contraste con

Tabla 2. Estaciones del ECOE y su relación con las compe-tencias del perfil intermedio II del Plan de Estudios 2010

Circuitos Tema Competencias*

1 Anorexia 3, 4, 5, 6, 7

2 Crecimiento y desarrollo

3, 4, 5, 6, 7

1 Pielonefritis 3, 4, 5, 6, 7

2 Dolor abdominal (apendicitis)

3, 4, 5, 6, 7

1 Embarazo no deseado

3, 4, 5, 6, 7

2 Angustia 3, 4, 5, 6, 7

1 Diarrea 3, 4, 5, 6, 7

2 Dolor abdominal (hepatitis)

3, 4, 5, 6, 7

1 Dolor faríngeo 3, 4, 5, 6, 7

2 Fiebrecefalea 3, 4, 5, 6, 7

*3: Comunicación efectiva; 4: Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas en el ejercicio de la medicina; 5: Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación; 6: Profesionalismo, aspectos éticos y responsabilidades legales; 7: Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad.


11

Sociomédica y procesos de diagnóstico/paraclínicos, que obtuvieron la menor puntuación.

Resultados de la fase práctica

El ECOE se aplicó a 523 estudiantes (59.4%) de los 880 registrados; 54 de los que asistieron al examen teórico, no lo hicieron a la fase práctica. El promedio porcentual de aciertos global en el ECOE fue de 62.2, con una desviación estándar de 16.8. Con respecto a la confiabilidad, el instrumento tuvo un alfa de Cronbach de 0.51 considerando ambos circuitos (el circuito 1 de 0.51 y el circuito 2 de 0.49). Utilizando el modelo de la teoría de la generalizabilidad, el coeficiente G fue de 0.60.

En relación con los resultados de los atributos de la competencia clínica, se observa que los más altos fueron obtenidos en los atributos de habilidades de comunicación y de interrogatorio, mostrados en la ta bla 3, en contraste con el atributo con menor valoración, que fue la interpretación de exámenes de laboratorio y gabinete.

La estación de Embarazo no deseado tuvo la mayor puntuación (67.5); en contraste, la estación Fiebrecefalea fue la de menor puntuación (54.8), como se observa en la tabla 4.

Discusión

Este es el segundo estudio de investigación que reporta el nivel de logro de las competencias de los estudiantes de pregrado del Plan de Estudios 2010 de la Facultad de Medicina de la UNAM9; en este caso, la siguiente fase del programa, que se termina justo antes de ingresar al internado. Hasta donde pudimos indagar, es el primer estudio en la literatura latinoamericana que evalúa a los alumnos, diagnóstica y formativamente, al inicio del internado médico en un plan de estudios con enfoque en competencias. Este trabajo cumplió con un doble propósito: por un lado, verificar que se lograra el perfil planteado en el plan de estudios, y por el otro, evaluar las competencias de los estudiantes.

En relación con la fase teórica

El hecho de que el examen general de conocimientos siguiera las fases propuestas por Downing y Yudkowsky4, y por Haladyna, et al.7, permite hacer inferencias con alto grado de validez. Un 7.2% de los reactivos fueron eliminados en el análisis posterior, lo cual es apropiado para un examen de altas consecuencias y mejor si es un examen diagnóstico y formativo, como

Figura 1. Resultados obtenidos por los estudiantes (n = 577) en la fase teórica, en promedio de aciertos y por área de conocimiento. Las líneas verticales representan la desviación estándar.

100

90

80

70

60

50

40

30

20

10

0

Por

cent

aje

de a

cier

tos

Global Medicinainterna

Cirugía Ginecologíay obstetricia

Pediatría Socio-médicas

Propedéutica Procesos dediagnósticoparaclínicos

Área de conocimiento

61 61 61 64 64 64

57 57


12

en nuestro caso, y el valor del alfa de Cronbach es 0.89, que corresponde a una alta consistencia interna.

La evaluación de los estudiantes antes de su ingreso al internado médico de pregrado mostró que, de las siete áreas de conocimientos evaluadas, cinco tuvieron un porcentaje de aciertos por arriba del 6 y dos quedaron por debajo de este (sociomedicina y diagnóstico paraclínico). Los resultados de otra generación en un examen parecido, pero que evaluó los conocimientos de los primeros dos años (fase I), mostró algo semejante9, ya que las asignaturas que se incluyeron en el área sociomédica también quedaron con porcentajes menores de 6, aunque debemos tener en cuenta que el contenido teórico evaluado es distinto y, por lo tanto, no son del todo equiparables.

Es importante hacer notar, para la adecuada interpretación de los resultados, que no hubo preparación previa para este examen diagnóstico y formativo, y que algunas de las asignaturas clínicas se llevaron en los semestres 6º y 7º, y otras, como Ginecología y Pediatría, se llevaron en los semestres 8º y 9º, lo que pudiera considerarse una ventaja para recordar

los contenidos que se adquirieron más recientemente; como se puede apreciar, los valores más altos fueron para estas dos clínicas y para propedéutica, que se retoma a lo largo de todos los cursos.

Un estudio de la Universidad de Wayne, en Detroit (Michigan, EE.UU.)10, en alumnos de tercer año, sobre la retención de conocimientos de genética que se impartieron en primer año, en el que se evaluó la aplicación de los conocimientos, no encontró correlación entre los resultados del examen teórico de primer año y el ECOE aplicado en el tercer año, como reportamos en este estudio. En otro estudio realizado en estudiantes de medicina del sexto año de la Universidad de Rwanda11, en el que se evaluó la retención de conocimientos y de habilidades después de impartir un curso de entrenamiento intensivo sobre urgencias ginecoobstétricas, realizó la evaluación antes de iniciar el curso, inmediatamente después de tomarlo, a los 3 y a los 9 meses después. Lo que más olvido presentó correspondió a las habilidades clínicas, semejante a lo que observamos en nuestros estudiantes, ya que de seis atributos de la competencia clínica, en cuatro obtuvieron valores menores del 60%.

Tabla 3. Resultados obtenidos por los estudiantes en la fase práctica, por atributos de la competencia clínica en el ECOE (n = 523)

Interrogatorio Exploración física

Laboratorios Diagnósticos Terapéutica Comunicación Paciente

Promedio 66,9 57,3 52,8 58,4 55,5 72,2 68,6

Desviación estándar

21,5 24,8 26,1 23,6 24,3 20,6 21,7

Mediana 75,0 50,0 50,0 50,0 50,0 75,0 75,0

Tabla 4. Resultados obtenidos por los estudiantes en la fase práctica por estaciones de los circuitos 1 y 2 (n = 523)

Estación Circuito 1 Circuito 2

Competencia Media Desviación estándar

Competencia Media Desviación estándar

1 Anorexia y desnutrición

61.9 16.7 Crecimiento y desarrollo

58.3 17.9

2 Pielonefritis 62.6 16.5 Dolor abdominal, apendicitis

65.8 17.4

3 Embarazo no deseado

67.5 15.7 Angustia 64.0 13.7

4 Diarrea 61.7 14.8 Dolor abdominal, hepatitis

58.5 18.1

5 Dolor faríngeo 65.9 15.6 Fiebre, cefalea 54.8 17.1


13

Las áreas que resultaron con menores promedios fueron las de sociomédica y diagnóstico paraclínico. En el caso del área sociomédica, ya había resultado de las más bajas en el perfil intermedio de la fase previa, por lo que es probable que los estudiantes consideren que los contenidos carecen de relevancia clínica y ello sea motivo de un mayor olvido comparado con las disciplinas biomédicas, o por un aprendizaje fuera de contexto o falta de refuerzo del conocimiento12,13. También es probable que se requiera complementar la evaluación de esta área, ya que es reconocida la dificultad para evaluarla con instrumentos de opción múltiple14. En cuanto a los bajos promedios en el diagnóstico paraclínico (que comprende la anatomía patológica, la imaginología y el laboratorio clínico), son dominios que ya se han documentado como débilmente abordados en los programas de otras escuelas de medicina15,16, sobre todo debido a la escasa integración de sus contenidos con el resto de las asignaturas de la medicina. En el caso de la radiología, en exámenes de altas consecuencias recientes de la UNAM también fue un área con valores bajos al compararse con otras, pero en aquella ocasión la causa se atribuyó a que el plan de estudios vigente no contemplaba la asignatura de radiología como obligatoria17. Dado que en este caso los promedios siguen siendo relativamente bajos, es indispensable evaluar las posibles causas.

En relación con la fase práctica

El ECOE, al igual que el examen teórico, siguió las fases recomendadas para su construcción, lo cual también permite hacer inferencias con alto grado de validez. La puntuación en el alfa de Cronbach (0.59) se encuentra dentro del rango de lo reportado en exámenes de menos de diez estaciones (0.560.74)18. Como estrategia complementaria para medir la consistencia interna se tomó el coeficiente G, cuyo resultado en este caso fue de 0.57, lo cual se puede interpretar como nivel medio debido probablemente a que solo fueron cinco estaciones.

En relación con los resultados globales del ECOE, en nuestro estudio se obtuvo una media de 62.2, similar a un estudio realizado en los EE.UU. en 106 residentes justo al terminar la carrera de medicina, con un ECOE de ocho estaciones de 12 minutos cada una, obteniendo una media de 64.219, aunque en nuestro estudio fue una población que iba a iniciar el internado médico de pregrado. Otro estudio, realizado en siete generaciones de estudiantes al término del internado en el Plan Único de Estudios de la Facultad de

Medicina de la UNAM, reportó una media de 61.4 en evaluaciones sumativas20.

Entre los atributos de la competencia clínica se documenta que los estudios diagnósticos y de laboratorio, la terapéutica y la exploración física son los que obtuvieron valores menores. De la razón por la cual los estudios de laboratorio e imagen resultan con valores bajos, la explicación es la misma que la discutida en lo relativo a la fase teórica; si bien tienen programadas varias semanas en el plan de estudios, el verdadero reto consiste en no dejar de integrarlas en todas las asignaturas clínicas. Estos resultados son semejantes a los reportados en otros estudios y que se explican porque la interpretación de exámenes de laboratorio y de gabinete implica conocimientos teóricos, y no solo la repetición de la actividad, por lo que se comportan con una curva de retención semejante a la de los exámenes de conocimientos21.

En cuanto a la terapéutica, es un dominio ya antes documentado como deficiente en otros ámbitos2224. La explicación más plausible planteada en otros estudios es que, incluso en médicos graduados, el grado de responsabilidad de los estudiantes es menor del que se requiere para aprender una actividad tan compleja, y aunque para estas alturas los estudiantes ya han rotado por los hospitales, excepcionalmente han sido los encargados de la prescripción. En cuanto a los bajos valores encontrados en la exploración física, este es un hallazgo que se ha documentado en varios países25,26; para aprender a explorar correctamente hay que presenciar el procedimiento muchas veces, realizar una exploración bajo supervisión en varias ocasiones y recibir realimentación oportuna, aspectos todos ellos que a estas alturas del programa no han sucedido lo suficiente. Una vez más, la propuesta de mejora no es aumentar las horas clínicas o establecer medidas remediales, sino integrar la exploración a la práctica de todas las asignaturas que ocurren en campos clínicos27.

La comunicación, el interrogatorio y la evaluación por el paciente fueron los atributos con valores más altos. La evaluación por los pacientes se ha descrito ampliamente en relación con el ECOE; lo que la evidencia ha demostrado es que las habilidades clínicas suelen ser sobrevaloradas28 y las de comunicación tienen el valor justo29. Ya que la valoración que otorgan los pacientes en este ECOE es global (involucra comunicación y trato recibido), suponemos que están evaluando adecuadamente debido a la capacitación recibida; ellos no valoraron habilidades clínicas. En


14

cuanto a la comunicación, al comparar con los resultados del perfil previo es el atributo que en la fase previa resultó más bajo (media de 41) y en esta el más alto (72.2 ± 20.6). Podríamos concluir entonces que, entre un perfil intermedio y otro, se desarrolla ampliamente el atributo de comunicación verbal, ya que en esta fase los estudiantes interrogan a un número significativo de pacientes, en contraste con la fase previa, en la que prácticamente no han visto pacientes. Este es un hallazgo relevante, pues es creciente la importancia que tiene la buena comunicación para la salud de los pacientes, fortalecer la relación con ellos y evitar eventuales problemas legales30.

Limitaciones del estudio

La limitación más grande del estudio está relacionada con que la proporción de los alumnos que fueron evaluados es apenas dos tercios de la población total de la generación. Esto se suscitó porque los estudiantes podían optar por no someterse a esta evaluación, dada su naturaleza formativa. Ya que no conocemos las características de estos estudiantes, no podemos emitir conclusiones firmes sobre cómo serían nuestros resultados si ellos hubieran optado por ser evaluados.

La atribución de los resultados es otra limitación inevitable cuando se cambia todo un plan de estudios; es decir, ya que no es posible comparar con un grupo control, no sabemos si algún plan de estudios alternativo muestra resultados distintos a este. Otra limitación es que, dado que no existe un estándar de pase, las valoraciones globales de ambos instrumentos (examen de conocimientos y ECOE) pueden prestarse a interpretaciones subjetivas; en futuros estudios es importante que se determine un estándar de pase para ambos instrumentos.

Otra limitación del ECOE aplicado en esta ocasión es que solo constó de cinco estaciones, lo cual necesariamente restringe la cantidad de competencias medidas. Dado que, en exámenes de este tipo, la resolución de un caso no tiene un alto valor predictivo de la resolución de otro (especificidad de caso o contexto), cuantas más estaciones tenga el ECOE mejor será para obtener conclusiones más sólidas. En este sentido también se puede argumentar favorablemente que las estaciones de 12 minutos de duración permiten la observación de una consulta médica más integral, en relación con las de menor duración que fragmenta la competencia clínica.

Fortalezas del estudio

Tanto en este perfil como en el anterior, los resultados de la evaluación fueron entregados a los departamentos académicos de la Facultad de Medicina en forma resumida para que los hicieran extensivos a los profesores, y en reportes individuales con los resultados a los estudiantes de forma confidencial. La importancia de la realimentación ha sido descrita como un principio clave para un aprendizaje efectivo31 y para la mejora del mismo32, y además puede desarrollar la autorregulación del estudiante33.

Las evaluaciones formativas pueden considerarse herramientas para el aprendizaje, ya que el ejercicio de evocar conocimientos previos cambia la memoria y ese simple hecho reconstruye el conocimiento y es de utilidad, en especial para el conocimiento complejo, como el que ocurre en la ciencia34. Además, este tipo de evaluaciones que integran la reinformación en el proceso dan al estudiante una herramienta para identificar aquellas áreas en las que requiere mejorar sus habilidades o bien reforzar aquellos contenidos que identificó como deficientes, lo que le permitiría superar las deficiencias identificadas y mejorar en sus habilidades y conocimientos35.

Este estudio muestra claramente que se requiere realizar intervenciones educativas en algunas áreas de los programas académicos para hacer los cambios pertinentes, tanto en la enseñanza como en los contenidos.

Dado que los resultados obtenidos en este estudio con una metodología rigurosa tienen evidencia de validez, condición indispensable para una toma de decisiones racional y con base en la evidencia, se propone generalizar el uso de las evaluaciones formativas, especialmente del ECOE, que no necesariamente excluye a la sumativa, en los departamentos académicos pertinentes de la Facultad de Medicina de la UNAM, como una fuente más de realimentación para la mejora de la calidad de la educación médica, y que se conviertan en herramientas para el perfeccionamiento continuo, no solo de los estudiantes sino de los programas académicos y del Plan de Estudios 2010, para beneficio y seguridad de los pacientes.

5 ConclusionesEste estudio evaluó los conocimientos y las habili

dades clínicas adquiridos durante los cinco semestres de estudio previos; situación compleja que implica no solo la capacidad de los estudiantes de recuperar información, sino también la integración, la aplicación del conocimiento y la solución de problemas de salud.


15

Se establece un punto de partida para el seguimiento de las competencias en este nivel de estudios.

Los resultados globales dan evidencia de que los estudiantes logran de manera suficiente los conocimientos y las competencias establecidas en el Plan de Estudios al término del 9º semestre, y de que poseen la base compuesta de un sistema de conocimientos, habilidades clínicas, actitudes e ideas interconectadas que les ha permitido desarrollar la competencia clínica a tal grado que hace suponer que la mayoría de ellos continuará aprendiendo nueva información más compleja e integrándola con las ideas existentes, para lograr aprendizajes significativos y continuar su formación en el internado médico de pregrado.

La importancia y el significado de las evaluaciones formativas determinan la pertinencia de ampliar y profundizar este tipo de estudios, cuyos resultados pueden realimentar la enseñanza de la medicina y fortalecer el propósito primario de dichos exámenes.

Bibliografía

1. SánchezMendiola M, MartínezFranco AI, LobatoValverde M, FernándezSaldívar F, VivesVarela T, MartínezGonzález A. Evaluation of a Biomedical Informatics course for medical students: a preposttest study at UNAM Faculty of Medicine in Mexico. BMC Med Educ. 2015;15:64.

2. SánchezMendiola M, DuranteMontiel I, MoralesLópez S, LozanoSánchez R, MartínezGonzález A, GraueWiechers E. Plan de Estudios 2010 de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Gac Med Mex. 2011;147:1528.

3. Miller D, Linn R, Gronlund N. Measurement and assessment in teaching. 11th ed. USA: Pearson; 2012.

4. Downing SM, Yudkowsky R. Introduction to assessment in the health professions. En: Downing S, Yudkowsky R, editores. Assesment in Health Professions Education. New York, NY.: Routledge; 2009. p. 121.

5. Weurlander M, Söderberg M, Scheja M, Hult H, Wernerson A. Exploring formative assessment as a tool for learning: students’ experiences of different methods of formative assessment. Assess Eval High Educ. 2012;37:74760.

6. Downing S. Validity: on meaningful interpretation of assessment data. Med Educ. 2003;37:8307.

7. Haladyna TM, Downing SM, Rodriguez MC. A review of multiplechoice itemwriting guidelines for classroom assessment. Appl Meas Educ. 2002;15:30933.

8. Trejo Mejía JA, Sánchez Mendiola M, Méndez Ramírez I, MartínezGonzález A. Análisis de la confiabilidad del examen clínico objetivo estructurado a través de la teoría de la generalizabilidad; 2016.

9. Martínez González A, Trejo Mejía JA, Fortoul van der Goes TI, Flores Hernández F, Morales López S, Sánchez Mendiola M. Evaluación diagnóstica de conocimientos y competencias en estudiantes de medicina al término del segundo año de la carrera: el reto de construir el avión mientras vuela. Gac Med Mex. 2014;150:3548.

10. Greb AE, Brennan S, McParlane L, Page R, Bridge PD. Retention of medical genetics knowledge and skills by medical students. Genet Med. 2009;11:36570.

11. Homaifar N, Mwesigye D, Tchwenko S, et al. Emergency obstetrics knowledge and practical skills retention among medical students

in Rwanda following a short training course. Int J Gynaecol Obstet. 2013;120:1959.

12. Last KS, Appleton J, Ferguson DB, Stevenson H. The value of a questionnaire in assessing the acquisition and retention of basic science knowledge by dental students. Eur J Dent Educ. 2000;4:39.

13. Woloschuk W, Mandin H, Harasym P, Lorscheider F, Brant R. Retention of basic science knowledge: a comparison between body system based and clinical presentation curricula. Teach Learn Med. 2004;16: 11622.

14. Hudelson P, Perron NJ, Perneger T. Using clinical vignettes to assess doctors’ and medical students’ ability to identify sociocultural factors affecting health and health care. Med Teach. 2011;33:e564e571.

15. Gottfried EL, Kamoun M, Burke MD. Laboratory medicine education in United States medical schools. Am J Clin Pathol. 1993;100:5948.

16. Marshall R, Cartwright N, Mattick K. Teaching and learning pathology: a critical review of the English literature. Med Educ. 2004;38:30213.

17. Trejo Mejía JA, Martínez González A, Méndez Ramírez I, Morales López S, Ruiz Pérez LC, Sánchez Mendiola M. Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gac Med Mex. 2014;150:817.

18. Brannick MT, ErolKorkmaz HT, Prewett M. A systematic review of the reliability of objective structured clinical examination scores. Med Educ. 2011;45:11819.

19. Short MW, Jorgensen JE, Edwards JA, Blankenship RB, Roth BJ. Assessing intern core competencies with an objective structured clinical examination. J Grad Med Educ. 2009;1:306.

20. Martínez González A, Sánchez Mendiola M, Méndez Ramírez I, Trejo Mejía J. Grado de competencia clínica de siete generaciones de estudiantes al término del internado médico de pregrado; 2016;152:67987.

21. Amaral F, Troncon LE de A. Retention of knowledge and clinical skills by medical students: a prospective, longitudinal, oneyear study using basic pediatric cardiology as a model. 2013;6:4854

22. Alexander C, Cameron A, Millar J, Szmidt N, Hanlon K, Cleland J. Can new doctors be prepared for practice? A review. Clin Teach. 2014;11:18892.

23. Heaton A, Webb DJ, Maxwell SRJ. Undergraduate preparation for prescribing: the views of 2413 UK medical students and recent graduates. Br J Clin Pharmacol. 2008;66:12834.

24. Wall D, Bolshaw A, Carolan J. From undergraduate medical education to preregistration house officer year: how prepared are students? Med Teach. 2006;28:4359.

25. Reilly BM. Physical examination in the care of medical inpatients: an observational study. Lancet. 2003;362:11005.

26. Sharma S. A singleblinded, direct observational study of PGY1 interns and PGY2 residents in evaluating their historytaking and physical examination skills. Perm J. 2011;15:239.

27. Ramani S. Twelve tips for excellent physical examination teaching. Med Teach. 2008;30:8516.

28. McLaughlin K, Gregor L, Jones A, Coderre S. Can standardized patients replace physicians as OSCE examiners? BMC Med Educ. 2006;6:12.

29. Rothman AI, Cusimano M. A comparison of physician examiners’, standardized patients’, and communication experts’ ratings of international medical graduates’ English proficiency. Acad Med. 2000;75:120611.

30. Camarena Robles E, Hernández Torres F, Fajardo Dolci G. La comunicación humana y su relación con la queja médica. Rev CONAMED. 2011;16:1417.

31. Harden RM, Laidlaw JM. Essential skills for a medical teacher: an introduction to teaching and learning in medicine. London: Churchill Livingstone Elsevier; 2012.

32. Hattie J, Timperley H. The power of feedback. Rev Educ Res. 2007;77:81112.

33. Sandars J, Cleary TJ. Selfregulation theory: applications to medical education: AMEE Guide No. 58. Med Teach. 2011;33:87586.

34. Karpicke JD, Blunt JR. Retrieval practice produces more learning than elaborative studying with concept mapping. Science. 2011;331: 7725.

35. Pusic M V, Kessler D, Szyld D, Kalet A, Pecaric M, Boutis K. Experience curves as an organizing framework for deliberate practice in emergency medicine learning. Acad Emerg Med. 2012;19:147680.

A. Martínez-González, et al.: Competencia clínica del médico interno

679

grado de competencia clínica de siete generaciones de estudiantes al término del internado médico de pregradoAdrián Martínez-González1,2*, Melchor Sánchez-Mendiola1, Ignacio Méndez-Ramírez3

y Juan Andrés Trejo-Mejía1,4

1Secretaría de Educación Médica; 2Departamento de Salud Pública; 3Instituto de Matemáticas Aplicadas y Sistemas, UNAM; 4Departamento de Medicina Familiar, Facultad de Medicina, UNAM. Ciudad de México, México

Gaceta Médica de México ARTÍCuLO ORIgINAL

Correspondencia:*Adrián Martínez-González

Facultad de Medicina, UNAM

Secretaría de Educación Médica

Departamento de Evaluación

Edificio B, 3.er piso

Av. Universidad, 3000, circuito escolar, C.U.

Del. Coyoacán

C.P. 04510, Ciudad de México, México

E-mail: [email protected] Fecha de recepción: 01-09-2015

Fecha de aceptación: 17-09-2015

PERMANYERwww.permanyer.com

Contents available at PubMedwww.anmm.org.mx Gac Med Mex. 2016;152:679-87

Resumen

Introducción: El examen clínico objetivo estructurado (ECOE) es el instrumento con mayor evidencia de validez para evaluar el grado de competencia clínica de los estudiantes de medicina. Objetivos: Evaluar el grado de competencia clínica de los médicos internos recién egresados y valorar la confiabilidad del instrumento con la teoría de la generalizabilidad. Métodos: Estudio observacional, longitudinal y comparativo. La población estuvo compuesta por 5,399 médicos internos de siete generaciones que culminaron el Plan Único de Estudios de la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM) entre los años 2009 y 2015. El instrumento utilizado fue un ECOE de 18 estaciones. Resultados: Los médicos internos de pregrado muestran un grado suficiente de competencia clínica para ejercer la medicina general. La interpretación de los estudios de laboratorio y la exploración física tuvieron las puntuaciones más altas. La interpretación de los estudios radiológicos fue el componente con menor puntuación. El área disciplinal de medicina familiar obtuvo el mayor puntaje en el ECOE, en contraste con el de pediatría, que obtuvo la menor puntuación. La confiabilidad con la teoría de la generalizabilidad varió entre 0.81 y 0.93. Conclusiones: La competencia clínica de los médicos internos de pregrado se considera suficiente. Se muestran las áreas en que se requieren intervenciones educativas para mejorar la competencia.

PALABRAS CLAVE: Internado médico de pregrado. Evaluación de la competencia clínica. Examen clínico objetivo estruc-turado.

Abstract

Introduction: Objective structured clinical examination is the instrument with more validated evidence to assess the degree of clinical competence of medical students. Objectives: To assess the degree of clinical competence of medical students at the end of their internship; to assess the reliability of the instruments with G theory. Methods: This was an observational, longitudinal, and comparative study. The target population was composed of 5,399 interns of seven generations that finished


680

Introducción

El avance continuo de los conocimientos y el desa-rrollo tecnológico en la medicina multiplica con regu-laridad el volumen y la complejidad de la información, de tal manera que el ejercicio profesional del médico se ha modificado para dar respuesta a las necesida-des de salud de una sociedad cada vez más infor-mada y exigente, que requiere médicos con un grado de competencia clínica adecuado que les permita proporcionar una atención integral, continua y huma-nística.

La licenciatura en Medicina tiene como propósito formar médicos generales, entendidos como los pro-fesionales que cuentan con los conocimientos, destre-zas y actitudes necesarios para diagnosticar y resolver con tratamientos y procedimientos médicos la mayoría de los padecimientos que el ser humano sufre a lo largo de su vida1.

En nuestro país, el médico general es una figura central en la prestación de servicios de salud, puesto que atiende la gran mayoría de las consultas que se ofrecen diariamente y resuelve el 80-90% de los pro-blemas de salud de la población2.

La evaluación del grado de competencia clínica de los médicos generales es una prioridad en el contexto nacional e internacional. Es necesario identificar sus áreas de fortaleza, con el fin de consolidarlas, y sus áreas de oportunidad, para poder aumentar la calidad del proceso educativo en la formación del médico general y lograr el cumplimiento del perfil del egresa-do a cabalidad.

La competencia clínica se entiende como el conjun-to de conocimientos, habilidades, actitudes y valores que, interrelacionados entre sí y con base en el razo-namiento, la evidencia científica y el juicio crítico, per-miten un desempeño profesional eficiente.

La competencia clínica se adquiere durante la licen-ciatura, principalmente en el ámbito de la atención real de las instituciones del Sistema Nacional de Salud, en cuyo desarrollo juegan un papel esencial la asistencia médica y la relación médico-paciente.

La enseñanza clínica articula la teoría y la práctica, y se sustenta en las ciencias biomédicas y sociomé-dicas, y en la mejor evidencia científica disponible que fundamenta el desarrollo de la competencia clínica, la capacidad para realizar procedimientos clínicos y clí-nico-quirúrgicos, la interpretación de los resultados de laboratorio y de gabinete, la elaboración del razona-miento y del juicio diagnóstico y pronóstico, el razona-miento terapéutico, el reconocimiento y tratamiento de las situaciones que ponen la vida del paciente en peligro y, cuando corresponda, la institución de accio-nes de rehabilitación, prevención, referencia y contra-rreferencia apropiadas y oportunas.

El desarrollo de la competencia clínica debe eva-luarse de manera continua. El propósito de la evalua-ción en el ámbito de la educación médica va más allá de la acreditación de conocimientos, y cada vez se reconoce más su función esencialmente formativa, lo que permite identificar logros y carencias en la for-mación de los estudiantes de medicina y planificar acciones que permitan consolidar objetivos y trazar planes de mejora continua. La evaluación formativa permite mejorar el desarrollo de la competencia clí-nica y reforzar la función de los tutores y los planes de estudio del programa académico. En nuestro me-dio, la competencia clínica la evalúan los profesores mediante exámenes ante pacientes reales (APR), si-muladores y evaluaciones intermitentes durante el proceso formativo.

Se ha demostrado que el ECOE es un instrumento práctico que posee fuentes sólidas de evidencia de validez y de confiabilidad, y es el método de evalua-ción de la competencia clínica con mayor grado de

their internship at the Faculty of Medicine of UNAM, between 2009 and 2015. The instrument used was 18 OSCE stations, three in each subject of the internship. Results: The undergraduate medical interns show a sufficient degree of clinical competence to be general practitioners. The laboratory interpretation and physical examination had the highest scores. The interpretation of imaging studies was the component with the lowest score. The Family Medicine disciplinal area had the highest average score in the OSCE; in contrast, Pediatrics obtained the lowest score on average. The reliability was measured with Generalizability Theory and ranged between 0.81 and 0.93. Conclusions: The clinical competence of undergraduate medical interns is considered sufficient. The results also show the subjects that require educational interventions to improve clinical competence of students. (Gac Med Mex. 2016;152:679-87)

Corresponding author: Adrián Martínez-González, [email protected]

KEY WORDS: Evaluation of clinical competence. OSCE. Undergraduate medical interns.


681

objetividad3-6. Algunos de los componentes de la com-petencia clínica que se evalúan mediante el ECOE son los siguientes: interrogatorio, exploración física, inter-pretación de estudios de laboratorio y de gabinete, diagnóstico y plan de manejo, y comunicación en la relación médico-paciente7. Estos componentes son los que se consideran en la evaluación que realiza la Facultad de Medicina de la UNAM a los estudiantes de pregrado.

En la Facultad de Medicina de la UNAM el examen profesional consta de dos fases: una teórica, con un examen objetivo de reactivos de opción múltiple, que el alumno debe acreditar para acceder a la segunda fase, la práctica, en la que puede optar por el examen tradicional de caso largo APR o por el ECOE. Este último, que seleccionan más del 90% de los susten-tantes, evalúa diversas áreas que representan la com-petencia profesional del médico, como los conoci-mientos, la capacidad para aplicarlos y la solución de problemas.

La evaluación mediante el ECOE implica establecer un juicio de valor sobre el desempeño del alumno, cuantificar lo aprendido por el estudiante, así como el alcance y logro de los objetivos del programa, y justi-ficar la decisión sobre la obtención o no del título de médico cirujano, es decir, se obtiene evidencia de que el sustentante posee la competencia clínica requerida para desempeñarse adecuadamente como profesional de la medicina.

En nuestro país aún es escasa la evaluación de la competencia clínica de los estudiantes en las escue-las de medicina mediante la utilización de instrumen-tos con diversas fuentes de evidencia de validez y confiabilidad. En la Facultad de Medicina de la UNAM se necesita un diagnóstico preciso del grado de competencia clínica de los médicos internos recién egresados, antes de cumplir con el servicio social obligatorio. La información que proporciona el ECOE es fundamental para realimentar a los estudiantes, a los profesores y a la propia Facultad de Medicina en los procesos de mejora continua del programa.

Método

Se realizó una investigación observacional, longitu-dinal y comparativa en la Facultad de Medicina de la UNAM. La población objetivo estuvo compuesta por 5,399 estudiantes de las generaciones que culminaron el Plan Único de Estudios de la licenciatura en Medi-cina del año 2009 al 2015. Los criterios de inclusión fueron que los participantes hubieran acreditado todas

las asignaturas del Plan Único de Estudios y la fase teórica del examen profesional. El único criterio de exclusión fue la elección de la modalidad APR por parte del alumno.

El ECOE se aplicó anualmente de 2009 a 2015 como una modalidad del examen profesional prác-tico para evaluar el grado de competencia clínica de los médicos internos de pregrado recién egresa-dos.

Los instrumentos de evaluación fueron construidos por comités de expertos con las siguientes caracterís-ticas: ser profesores de la Facultad de Medicina, con-tar con al menos 10 años de experiencia clínica, per-tenecer a una especialidad del ECOE como cirugía, ginecoobstetricia, medicina familiar, medicina interna, pediatría o urgencias, haber participado en el curso-taller sobre el ECOE y tener experiencia como evalua-dores en al menos tres exámenes de tipo formativo con esta metodología. Dieciocho especialistas cons-truyeron las estaciones del ECOE, y posteriormente un grupo de seis médicos familiares validaron dichas es-taciones siguiendo varias etapas:

– Primera etapa: se seleccionaron las habilidades a evaluar tomando como base el Plan Único de Estudios de la Facultad de Medicina y el perfil de los problemas clínicos más frecuentes a los que se enfrenta el médico general.

– Segunda etapa: a partir de ese perfil, los miem-bros del comité determinaron el número de esta-ciones del ECOE de acuerdo a la habilidad clíni-ca que se consideró más representativa en cada padecimiento y que, además, fuera factible eva-luar en los 6 min que duraba cada estación. Con base en la tabla de especificaciones, el número de estaciones y los componentes de la compe-tencia clínica, el ECOE estuvo conformado por diez estaciones de interrogatorio, tres de explo-ración física, dos de interpretación radiográfica, una de diagnóstico y manejo, una de interpreta-ción de los estudios de laboratorio y una de aná-lisis de un trabajo de investigación médica

– Tercera etapa: se elaboró el material necesario para cada estación, como los resúmenes clínicos de casos reales, las listas de cotejo y los estudios de laboratorio. Para asegurar la confiabilidad in-terevaluador y registrar el desempeño clínico re-levante en cada estación, médicos especialistas en cada una de las áreas elaboraron las listas de cotejo utilizadas, que fueron revisadas por el gru-po de investigación y validadas por otro grupo de médicos del área correspondiente.


682

– Cuarta etapa: en primer lugar, se seleccionaron pacientes reales y personas no enfermas, que se capacitaron para representar un problema médi-co de forma consistente, como pacientes estan-darizados. Posteriormente se conformaron esta-ciones de dos tipos:

• Estacionesdeprocedimientos,queevaluabanlacapacidad del estudiante para interrogar o exa-minar a pacientes estandarizados y formular diag-nósticos presuncionales.

• Estacionesdeinterpretacióndelosexámenesdelaboratorio y/o gabinete, en donde además se evaluaban la integración diagnóstica y la capaci-dad para elaborar un plan de manejo integral.

– Quinta etapa: finalmente, el ECOE quedó confor-mado por 18 estaciones, tres para cada área de conocimiento del programa de internado médico: cirugía, ginecoobstetricia, medicina familiar, me-dicina interna, pediatría y urgencias. El ECOE se planeó para tener una duración de 2 h, por lo que cada una de las estaciones fue de 6 min, inclu-yendo dos estaciones de descanso. Se debe mencionar que las estaciones fueron distintas año tras año, y sólo se conservó un 50% de las esta-ciones aplicadas previamente, tratando en lo po-sible de que fueran equivalentes, ya que cada año se evaluaron los mismos componentes de la competencia clínica. Los casos utilizados conte-nían una presentación con el escenario clínico y un formato con instrucciones para que el estu-diante se enfocase en el problema y lo desarro-llase adecuadamente.

Las listas de cotejo utilizadas para evaluar el desem-peño clínico del sustentante contenían enunciados relacionados con la actividad a realizar, ya fuera inte-rrogatorio, exploración física, consejería, integración de uno o varios diagnósticos, propuesta de indicacio-nes de manejo, interpretación de las alteraciones de los estudios de laboratorio y de gabinete y análisis de artículos de investigación. En las estaciones con pa-cientes estandarizados, el examinador calificaba la lista de cotejo y emitía una calificación global sobre las habilidades de comunicación interpersonal, si-guiendo una escala global del 1 al 9, en la que del 1 al 3 correspondía a insatisfactorio, del 4 al 6, a satis-factorio y del 7 al 9, a superior8.

El número de enunciados a valorar en las estaciones de procedimientos con pacientes varió entre 20 y 40, y en las de interpretación de los estudios de laborato-rio y de gabinete, entre 6 y 22. Cada enunciado fue calificado como 0 o 1; un enunciado realizado recibía

1 punto y uno no realizado o realizado de forma inco-rrecta, 0 puntos. La calificación de una estación se obtuvo sumando el resultado de sus componentes. En el caso de las estaciones de procedimientos, se valo-raron cuatro componentes ponderados: interacción con los pacientes, interrogatorio, exploración física y manejo (65%), formulación de diagnósticos (20%), ha-bilidades de comunicación interpersonal (10%) y valo-ración por parte del paciente (5%). Las estaciones de interpretación de los estudios de laboratorio o de ga-binete tenían dos componentes: datos normales y anormales que se interpretan (80%) y formulación de un diagnóstico (20%). La calificación final del examen fue el promedio de calificaciones de todas las estacio-nes; la escala utilizada iba de 0 a 100 en términos porcentuales.

Análisis

Se realizaron análisis estadísticos con medidas de tendencia central y de dispersión para cada genera-ción analizada utilizando la versión 11 del programa JMP (John’s Macintosh Project). Se realizó la prueba ANOVA para tres o más muestras con la finalidad de valorar las diferencias con un nivel de significancia de p ≤ 0.05. También se realizó un estudio basado en la teoría de la generalizabilidad con un diseño cruzado de efectos aleatorios para identificar las prin-cipales fuentes de variación. Los evaluadores, los pacientes estandarizados y los casos fueron consi-derados como faceta única en el análisis.

Aspectos éticos

Este estudio formó parte del Plan Institucional de Evaluación de la Facultad de Medicina de la UNAM. Para efectos del presente trabajo se eliminaron los identificadores individuales y se presentaron única-mente resultados agregados, manteniendo la confi-dencialidad de los estudiantes en la elaboración del manuscrito.

Resultados

Para evaluar la competencia clínica de los estudian-tes al término del internado médico de pregrado se aplicó el ECOE con 18 estaciones a 5,399 estudiantes. El número de estudiantes de cada generación fue el siguiente: 709 estudiantes en el año 2009, 675 en 2010, 776 en 2011, 700 en 2012, 719 en 2013, 896 en 2014 y 924 en 2015.


683

Se calculó la confiabilidad del instrumento mediante el α de Cronbach y se obtuvieron los siguientes resul-tados: α = 0.61 en 2009, α = 0.55 en 2010, α = 0.64 en 2011, α = 0.50 en 2012, α = 0.60 en 2013, α = 0.61 en 2014 y α = 0.59 en 2015. Además, se calculó el coeficiente de generalizabilidad para cada aplicación: G = 0.88 en 2009, G = 0.85 en 2010, G = 0.93 en 2011, G = 0.81 en 2012, G = 0.87 en 2013, G = 0.84 en 2014 y G = 0.82 en 2015.

En la figura 1 se presentan los resultados globales obtenidos por los sustentantes en el ECOE. La me-dia global de todas las generaciones fue menor a 70. La población obtuvo puntajes homogéneos en cuanto al grado de competencia clínica, ya que la dispersión de los datos no fue grande. Hubo dife-rencias significativas (p ≤ 0.05) entre las tres gene-raciones con promedios más bajos (2012, 2013 y 2014) y las cuatro generaciones restantes (2009, 2010, 2011 y 2015).

En la figura 2 se observa que los dos componentes del ECOE con mayor puntuación promedio fueron la

interpretación de los estudios de laboratorio en las generaciones de los años 2009, 2010 y 2011 y la ex-ploración física en las generaciones de los años 2011, 2013 y 2015. Los componentes con menor puntuación promedio fueron la interpretación radiográfica y el aná-lisis de la literatura.

En las figuras 3 y 4 se observa que el área de me-dicina interna fue la que obtuvo la media más alta en las generaciones de 2009 a 2012. En todas las gene-raciones el área de medicina familiar obtuvo los resul-tados más consistentes y homogéneos, y el promedio más alto. El área de pediatría obtuvo el promedio más bajo en todas las generaciones.

Discusión

La práctica cotidiana de un médico general incluye múltiples actividades que exigen diversos grados de habilidad, pero pocas son tan complicadas de desa-rrollar como la competencia clínica, la cual incluye la capacidad de llegar a un diagnóstico temprano y

Med

ia ±

IC100

2009 2010 2011 2012 2013 2014 2015

Generaciones evaluadas

70

60

50

40

30

20

10

0

Figura 1. Resultados globales obtenidos por los sustentantes en el ECOE por generación evaluada (n = 5,399). Las abscisas representan las generaciones de 2009 a 2015 y las ordenadas, el promedio de las puntuaciones. Las líneas verticales de las barras representan los intervalos de confianza (IC) al 95%.


684

correcto, así como el tratamiento adecuado y oportuno del padecimiento, para solucionar los problemas de salud.

En el presente estudio, de acuerdo con los resulta-dos obtenidos, se documenta que, desde un punto de vista global, el Plan Único de Estudios logró formar en los estudiantes de medicina niveles suficientes de competencia clínica. En las evaluaciones realizadas mediante el ECOE a siete generaciones de médicos internos de pregrado se obtuvo una media de 61.4 (65.6 en el año 2009, 61.9 en 2010, 62.3 en 2011, 60 en 2012, 59.8 en 2013, 58.5 en 2014 y 62 en 2015).

Los resultados son similares a los de otros países. Los estudiantes obtienen menores calificaciones en los ECOE que en exámenes con reactivos de opción múltiple5,6. Los expertos y el análisis psicométrico de las estaciones del ECOE establecen que el pro-medio mínimo general para considerar a los estu-diantes como competentes de acuerdo a sus resul-tados es de 55.

En cinco escuelas de Suiza, en una medición al final de la carrera de medicina, se realizó un ECOE con 12 estaciones de 13 min cada una, con una duración total de 3 h y 45 min, y se obtuvo una media de 73.8 (mínima de 43.5 y máxima de 87.9)9.

En EE.UU. se realizó un ECOE de ocho estaciones de 12 min cada una a 106 residentes justo al terminar la carrera de medicina y se obtuvo una media de 64.2%10.

La competencia clínica tiene varios componentes, entre los que se encuentra la habilidad de realizar un interrogatorio adecuado y una exploración física eficaz. Mediante estas actividades se obtienen datos e infor-mación que el médico general utiliza para fundamentar, rechazar o modificar los diagnósticos probables del paciente. Asimismo, el médico utiliza los estudios de laboratorio y de gabinete como evidencia para llegar al diagnóstico definitivo.

En nuestro estudio, el componente de interpretación de los estudios de laboratorio tuvo la media más alta,

Pro

med

io ±

IC

100

80

70

60

50

40

30

20

10

0


Componentes de la competencia clínica

Interrogatorio

Exploración física

Diagnóstico y manejo

Interpretación radiográfica

Análisis de la literatura

Interpretación

Laboratorio

electrocardiograma

2009 2010 2011 2012 2013 2014 2015 Promedio

Figura 2. Resultados obtenidos por los sustentantes en cada componente de la competencia clínica.


685

Áreas disciplinares

Cirugía

Ginecoobstetricia

Medicina familiar

Medicina interna

Pediatría

UrgenciasGlobal

Pro

med

io ±

IC

100

80

70

60

50

40

30

20

10

0


2009 2010 2011 2012 2013 2014 2015

Figura 3. Resultados obtenidos por cada generación de sustentantes en cada área disciplinal.

seguido de la exploración física. Una posible explica-ción de este hecho es que las habilidades clínicas se adquieren durante el tercer y el cuarto años de la li-cenciatura, y son fundamentales para corroborar o rechazar diagnósticos, y permiten que los estudiantes aprendan a fundamentar sus hipótesis en la práctica profesional cotidiana11,12.

La interpretación radiográfica merece especial aten-ción, ya que obtuvo las puntuaciones más bajas en relación con los otros componentes de la competencia clínica. Esto sugiere la posibilidad de realizar una in-tervención educativa con el fin de fortalecer dicha habilidad.

El interrogatorio y la exploración física tuvieron una media global de 63.1 y 71.5, respectivamente, resul-tados semejantes a los reportados13, en los que se encontró una media de 53.9 aciertos en las estaciones de interrogatorio y de 62.3 en las de exploración física, lo que constituye una evidencia de validez agregada a los hallazgos del presente estudio.

El área disciplinal de medicina familiar obtuvo la mayor puntuación promedio en el ECOE. Esto puede deberse a que los profesores de esta área dan gran importancia al perfil de egreso de la licenciatura, lo que fortalece la idea de ampliar la rotación de los in-ternos en esta área disciplinal, que podría ser un con-texto más apropiado para la formación del médico general con un enfoque más preventivo, que es lo que necesita nuestro país. Este puntaje también puede deberse a otros factores, como la colaboración con los profesores en el manejo de los pacientes con los pa-decimientos más frecuentes, la homogeneidad del programa académico y la discusión de casos clínicos, las experiencias clínicas reflexivas y constantes y las actividades clínicas complementarias.

El médico general tiene pocas oportunidades para ejercer profesionalmente en nuestro país, ya que en el ámbito laboral existe una marcada orientación ha-cia la medicina especializada; por eso, la mayoría de los egresados de medicina aspiran a formarse como


686

especialistas14,15. Sin embargo, esta tendencia puede cambiar, si se fortalece la enseñanza en el primer nivel de atención médica en el pregrado –nicho na-tural del ejercicio clínico–, que puede ayudar a orien-tar y motivar a los estudiantes a dedicarse a la me-dicina general.

La siguiente área con mayor promedio en el ECOE fue la de medicina interna. Esto puede deberse a que en el tercer y cuarto años se desarrollan a nivel hos-pitalario las asignaturas que corresponden a subespe-cialidades de medicina interna11,12, y en ellas se estu-dia la morbilidad y la mortalidad más frecuentes de nuestro país. Estos resultados son semejantes a los obtenidos en el ECOE de la licenciatura en Medicina de los años 2002 a 2004, situación que también con-tribuye a agregar evidencia de validez al presente estudio16,17.

El área disciplinal con menor promedio en esta apli-cación fue la de pediatría, por lo que es necesario

fortalecer el aprendizaje de esta importante área con intervenciones educativas apropiadas.

El área de urgencias obtuvo una media de 60.2 aciertos. En la aplicación de un ECOE, con dos tipos de estaciones, a 45 estudiantes del último año de la carrera de una escuela de medicina de Francfort, en el área de urgencias se encontró una media de de 83.6% en un tipo y de 79.6% en el segundo tipo18.

El ECOE aplicado tuvo una confiabilidad medida mediante el α de Cronbach de 0.58 como promedio de las 7 generaciones en evaluación formativa, valor que se aproxima al 0.7 establecido por Streiner y Norman para un examen de altas consecuencias19. También es factible valorar y complementar la infor-mación sobre la confiabilidad del instrumento con la teoría de la generalizabilidad20.

El coeficiente G mide la proporción de la variación total que se debe a la variación en el conocimiento verdadero de los estudiantes. Al ser más alto el valor

Áreas disciplinares

Pro

med

io ±

IC

Cirugía

Ginecoobstetricia

Tukey-Kranerp < 0.05

Medicina familiar

Medicina interna

Pediatría

Urgencias

Todos los pares

100

70

60

50

0

Figura 4. Resultados globales obtenidos por los estudiantes en las siete generaciones del ECOE analizadas por área disciplinal. Las abscisas indican el área disciplinal y las ordenadas, el promedio de las puntuaciones. Las líneas horizontales por encima y por debajo de las medias representan los intervalos de confianza al 95% (IC). El área disciplinal más alta fue la de medicina familiar y la más baja, la de pediatría. Con la prueba post hoc Tukey-Kramer se encontraron diferencias significativas (p ≤ 0.0001) entre medicina familiar, cirugía y pediatría individualmente con las otras áreas.


687

de G implica que las otras fuentes de variación son de menor importancia en comparación con la variación entre los estudiantes.

Una de las limitaciones de este estudio es que se realizó en una sola escuela de medicina, con un con-texto y características particulares, lo que limita la ge-neralización de los resultados a otras instituciones nacionales o internacionales, aunque puede argumen-tarse que la Facultad de Medicina de la UNAM, de carácter público, es la escuela de medicina más gran-de del país y sus estudiantes representan una muestra amplia de todos los estratos económicos y sociales de la población mexicana, lo que sugiere que nuestros resultados son aplicables a la mayoría de las escuelas de medicina nacionales.

El presente estudio es uno de los pocos en su tipo que investiga la evaluación de la competencia clínica en México, por lo que puede servir como base para diseñar otros estudios que ayuden a mejorar la calidad de la educación médica en nuestro país, particular-mente estudios comparativos con el plan de estudios de 2010 vigente, para valorar sus fortalezas y debili-dades.

En México hay muy pocas facultades de medicina que conozcan y apliquen el ECOE, por lo que es re-comendable difundir continuamente esta estrategia de evaluación. Asumir el reto de mejorar la evaluación en la educación médica en la Facultad de Medicina de la UNAM permite avanzar en la formación de médicos generales, ya que proporciona información y realimen-tación basadas en evidencias, con la intención de ayudar a los estudiantes y profesores a incrementar la calidad del proceso educativo y clínico asistencial. Los resultados del ECOE deben orientar los cambios en los programas académicos y en la toma de decisiones, en dirección al desarrollo de las competencias que se desean obtener.

Este estudio contribuye a incrementar la cultura de la evaluación de la competencia clínica en nuestro medio y proporciona resultados válidos y confiables obtenidos con una metodología rigurosa. Se considera deseable generalizar formalmente la utilización del ECOE, de tal manera que todos los estudiantes sean evaluados mediante esta estrategia, ya que es uno de

los instrumentos más objetivos que existen para valo-rar y mejorar la competencia clínica con la meta de brindar mayor seguridad a los pacientes20-22.

Bibliografía

1. Paredes Sierra R, Rivero Serrano O. El papel de la medicina general en el Sistema Nacional de Salud. Seminario El ejercicio actual de la me-dicina. 2001.

2. Estadísticas: Salud en Números: DGIS. 2015. 3. Eva KW, Neville AJ, Norman GR. Exploring the etiology of content spec-

ificity: factors influencing analogic transfer and problem solving. Acad Med. 1998;73(10 Suppl):S1-5.

4. Collins JP, Harden RM. AMEE Medical Education Guide No. 13: real patients, simulated patients and simulators in clinical examinations. Med-ical Teacher. 1998;20(6):508-21.

5. Reznick R, Smee S, Rothman A, et al. An objective structured clinical examination for the licentiate: report of the pilot project of the Medical Council of Canada. Acad Med. 1992;67(8):487-94.

6. Sloan DA, Donnelly MB, Schwartz RW, Strodel WE. The Objective Struc-tured Clinical Examination. The new gold standard for evaluating post-graduate clinical performance. Ann Surg. 1995;222(6):735-42.

7. Neufeld V, Norman G. Historical Perspectives on clinical competence. En: Company SP, ed. Assessing Clinical Competence. Nueva York: 1985. p. 3-14.

8. Hodges B, Hanson M, McNaughton N, Regehr G. Creating, monitoring, and improving a psychiatry OSCE: A guide for faculty. Acad Psychiatry. 2002;26(3):134-61.

9. Guttormsen S, Beyeler C, Bonvin R, et al. The new licencing examination for human medicine: from concept to implementation. Swiss Med Wkly. 2013;143:w13897.

10. Short MW, Jorgensen JE, Edwards JA, Blankenship RB, Roth BJ. As-sessing intern core competencies with an objective structured clinical examination. J Grad Med Educ. 2009;1(1):30-6.

11. Facultad de Medicina U (SECISS). Manual Departamental de Medicina General I. Programa académico teórico-práctico. Departamento de Ter-cer Año. 2012.

12. Facultad de Medicina U (SECISS). Manual Departamental de Medicina General II. Programa académico teórico-práctico. Departamento de Cuarto Año. 2012.

13. Trejo J, Larios H, Cortés M, Martínez M, García O. Competencia clínica en el área de medicina familiar. Arch Med Fam. 2000;2(3):65-74.

14. Frenk-Mora J, Robledo-Vera C, Nigenda-López G, Ramírez-Cuadra C, Galván-Martínez O, Ramírez-Avila J. [Policies for training and employment of physicians in Mexico 1917-1988]. Salud Publica Mex. 1990;32(4):440-8.

15. Narro J, Robles M. Panorama del posgrado médico en México. En: Graue E, Sánchez M, Durante I, Rivero O, eds. Educación en las resi-dencias médicas. México: Textos Mexicanos; 2010. p. 9-14.

16. Trejo Mejía JA, Martínez González A, Méndez Ramírez I, Morales López S, Ruiz Pérez LC, Sánchez Mendiola M. [Clinical competence evaluation using the Objective Structured Clinical Examination (OSCE) in medical internship at UNAM]. Gac Med Mex. 2014;150(1):8-17.

17. Larios Mendoza H, Trejo Mejia JA, Mendez I. Examen profesional con el examen clínico objetivo estructurado. Revista de la Educación Supe-rior. 2005;34(4[136]):7-17.

18. Ruesseler M, Weinlich M, Byhahn C, et al. Increased authenticity in practical assessment using emergency case OSCE stations. Adv Health Sci Educ Theory Prac. 2010;15(1):81-95.

19. Streiner DL, Norman GR. Health Measurement Scales: A practical guide to their development and use. En: Norman GR, Streiner DL, eds. 4.a ed. Oxford University Press; 2008. p. 452.

20. Van Der Vleuten CP. The assessment of professional competence: De-velopments, research and practical implications. Adv Health Sci Educ Theory Prac. 1996;1(1):41-67.

21. Mavis BE, Henry RC. Between a rock and a hard place: finding a place for the OSCE in medical education. Med Educ. 2002;36(5):408-9.

22. Hill DA, Guinea AI, McCarthy WH. Formative assessment: a student perspective. Med Educ. 1994;28(5):394-9.

evaluación diagnóstica y formativa de competencias en … · 2019-09-24 · gaceta médica de...

Documents