S/18

Los sistemas sanitarios, como empresas que pres-tan servicios a la poblacin, hacen un uso intensivode recursos humanos altamente cualificados. Si pre-tendemos que estos servicios sean de calidad, habrque asegurar la competencia de los profesionales.La evaluacin de la competencia clnica es, por lotanto, un objetivo de las instituciones involucradasen la formacin y utilizacin de los profesionalessanitarios.

Desde hace ms de tres dcadas diversas institu-ciones estn utilizando mtodos docentes y evalua-tivos de la prctica clnica, por lo cual, disponemosen la actualidad de instrumentos vlidos, fiables,aceptables tanto para los candidatos como para lasinstituciones, factibles y cuyo impacto educativoest demostrado.

La cultura evaluativa de nuestro pas ha estadobasada fundamentalmente en los mtodos tradicio-nales y muy pocos expertos se han atrevido a valo-rar, de forma objetiva, la prctica clnica. Desdeprincipios de 1994 se vienen realizando proyectos deevaluacin que nos permiten valorar las competen-cias clnicas a diversos niveles (pregrado, postgradoy en el ejercicio profesional) y de distintos profesio-nales.

Es necesario considerar la evaluacin como uninstrumento diagnstico de los dficits competencia-les, y por lo tanto til para modificar o mejorar laformacin previa y posterior, para la seleccin de losprofesionales, para la certificacin y recertificaciny para cualquier sistema de incentivacin y promo-cin profesional (carrera) que se desee disear.

La definicin de las competencias de las profesio-nes es una necesidad obvia, tanto desde el punto devista de su utilidad docente, de planificacin y ges-tin de los servicios sanitarios, como de la regula-cin del derecho al ejercicio de la profesin.

Se puede definir competencia como un procesodinmico y longitudinal en el tiempo, por el cualuna persona utiliza los conocimientos, habilidades,

actitudes y buen juicio, asociados a su profesin,con la finalidad de poder desarrollarla de forma efi-caz en todas las situaciones que corresponden alcampo de su prctica. Representa, por tanto, unestado de su praxis profesional.

Las competencias de los profesionales, se puedenclasificar en las siguientes: Asistenciales, las de laMedicina Preventiva y Comunitaria, de investiga-cin y docencia, las habilidades necesarias pararelacionarse con otros niveles asistenciales y traba-jar en equipo, las ticas y deontolgicas y las rela-cionadas con los conocimientos del entorno socio-cultural.

A su vez, las competencias o habilidades asisten-ciales, se pueden subdividir en: la capacidad paraobtener informacin del paciente, mediante laHistoria Clnica y la exploracin fsica, elaborar uninforme clnico y comunicarse eficazmente con elpaciente y sus familiares, el conocimiento y com-prensin de las patologas (conocimientos biomdi-cos y la interpretacin de pruebas complementa-rias), el juicio clnico y la capacidad para resolverproblemas clnicos (priorizacin de problemas desalud, elaboracin de diagnsticos diferenciales y eldiseo de planes diagnsticos y teraputicos), y lashabilidades tcnicas necesarias para el diagnsticoy el tratamiento (por ejemplo, ser capaz de tomar latensin arterial o ser capaz de suturar una herida).

La importancia o el peso relativo de cada una deestas capacidades depender obviamente de la pro-fesin sanitaria e incluso de la especializacin decada profesin. Numerosas instituciones interna-cionales y actualmente en nuestro pas, relaciona-das con la formacin y la gestin de los profesiona-les sanitarios estn definiendo estas competencias.

Los mtodos de evaluacin de la competenciaprofesional: la evaluacin clnica objetivaestructurada (ECOE)Jos Mara Martnez CarreteroUnidad de Evaluacin de las Competencias Clnicas. Institut dEstudis de la Salut (IES). Generalitat de Catalua.

resumen de ponencias

S/19

MTODOS DE EVALUACIN

Para evaluar cada una de estas competencias, losinstrumentos tienen que ser necesariamente dife-rentes, dado que no hay ningn mtodo de evalua-cin que por si solo pueda proporcionar toda lainformacin necesaria para juzgar la competenciade un profesional. Es necesario por tanto, una com-binacin de los diferentes mtodos para evaluar lashabilidades cognoscitivas y las complejas habilida-des que componen el concepto de competencia pro-fesional.

De acuerdo con la pirmide de Miller hay cuatroniveles de formacin por orden de complejidad. Enla base de la pirmide estn los conocimientos queun profesional necesita saber para desarrollar sustareas profesionales con eficacia, en el nivel supe-rior estar la capacidad para saber como utilizarestos conocimientos para analizar e interpretar losdatos obtenidos. Esta capacidad se define como com-petencia. No tan solo es preciso conocer o sabercomo utilizar sino tambin es necesario demostrarcomo se utilizan. Es decir, es necesario conocer laactuacin de un profesional frente a una situacinclnica especfica. Finalmente, no obstante, es preci-so conocer lo que un profesional hace realmente ensu prctica laboral. (Figura 1)

Mtodos para evaluar la competenciaLos mtodos empleados para evaluar competen-

cia incluyen los clsicos exmenes orales y las prue-bas escritas cortas o largas. Con estos mtodos sepuede evaluar la capacidad terica para resolverproblemas clnicos de los pacientes, as, la simula-cin escrita de un caso clnico es un buen instru-mento para evaluar esta habilidad.

Mtodos para evaluar la actuacinLos mtodos utilizados para evaluar este nivel de

la pirmide de Miller, se basan fundamentalmenteen las simulaciones, que intentan reproducir situa-ciones similares de la vida real en condicionesestandarizadas, que permiten que los observadorespuedan analizar las actuaciones especficas que sepretenden evaluar.

Estos mtodos incluyen, las simulaciones porordenador y los enfermos simulados estandarizados.El paciente simulado estandarizado constituye unode los instrumentos educativos y evaluativos msimportantes para garantizar que se dispone de lascompetencias clnicas necesarias en el encuentromdico-paciente. Los pacientes simulados son indi-viduos especialmente entrenados para cumplir dosfunciones: representar una situacin clnica deter-minada de acuerdo a una patologa previamenteestablecida y evaluar la capacidad del profesionalen la obtencin de una anamnesis adecuada, en laexploracin fsica y en los patrones de comunicacincon el paciente. Dado que todos estos pacientes sonentrenados, se comportan, responden y evalan deuna manera uniforme con todos los evaluados, se lesconsidera estandarizados.

A pesar de la importancia y utilidad del pacientesimulado estandarizado, con propsitos ya seadocentes o evaluativos de unas reas especficas decompetencias clnicas, es imprescindible la combi-nacin con otros instrumentos que nos permitanevaluar otras competencias clnicas.

Una mencin especial merece la prueba conocidacomo OSCE (Objective Structured Clinical Exami-nation) o Evaluacin Clnica Objetiva y Estructurada(ECOE).

La ECOE es un formato de prueba en el que sepueden incluir diferentes mtodos evaluativos. Elformato bsico consiste en que los candidatos rotenpor un circuito de estaciones secuenciales en el quese les solicita que realicen una variedad de diferen-tes habilidades. En muchas de estas estaciones seutilizan Pacientes Simulados estandarizados, casospor ordenador, maniques, pruebas complementa-

Mtodos para evaluar los conocimientosLas preguntas escritas y especialmente las pre-

guntas de eleccin mltiple, han sido las msempleadas porque son ms validas, fiables y fcilesde elaborar, que otros mtodos y pueden proporcio-nar un amplio abanico de informacin, sobre lashabilidades cognoscitivas, incluidas las habilidadespara interpretar pruebas complementarias.

Fig. 1

Educacin Mdica. Volumen 8, suplemento 2, Septiembre 2005

S/20

Mtodos para evaluar la prctica profesionalEs obvio que este nivel de evaluacin es el ms

importante y completo, ya que nos proporcionainformacin sobre lo que el profesional realmentehace en su prctica profesional. No obstante, es pre-ciso sealar, que desde el punto de vista metodol-gico es el ms difcil ya que intervienen no solamen-te problemas tcnicos (de factibilidad y fiabilidad)sino tambin otros factores no relacionados con loque el profesional es capaz de hacer y que puedenmodificar su prctica, como por ejemplo, el tipo deorganizacin de la institucin en la que trabaja, losrecursos disponibles, la competencia de otros profe-sionales que intervienen en la prctica que se pre-tende evaluar, la masificacin asistencial y la moti-vacin del propio profesional, entre otras.

A pesar de todo, existen instrumentos que pre-tenden evaluar este nivel y nos pueden dar infor-macin bastante relevante de la prctica real delprofesional como: las escalas de evaluacin global,la revisin de las historias clnicas (audit), la revi-sin de las decisiones clnicas (chart stimulatedrecall), las observaciones de la prctica por colegaso mediante videos, las encuestas de satisfaccin deenfermos y familiares, cuadernos de autoaprendiza-je o portafolio, la opinin de otros miembros delequipo, los indicadores de problemas en la prctica,o la calidad de las prescripciones teraputicas, entreotras.

La valoracin formativaLos mtodos antes sealados pueden ser utiliza-

dos como instrumentos de evaluacin del progresocompetencial durante el proceso de formacin confines fundamentalmente formativos y no exclusiva-mente sumativos tanto en el pregrado como en elpostgrado. La informacin obtenida, a nivel indivi-dual o grupal, permite mejorar y adaptar los mto-dos de aprendizaje as como los contenidos al pro-greso de los estudiantes. La valoracin formativa esun instrumento imprescindible en las entrevistastutor-estudiante/residente (feed back) de la forma-cin basada en la tutorizacin activa continua.

NIVELES DE EVALUACIN

Al menos se pueden distinguir tres niveles dife-rentes de evaluacin en el desarrollo profesionalcontinuo individual: Al final de la formacin pre-graduada, al finalizar la formacin postgraduadacon propsitos de certificacin de la especialidad y

rias (ECG, RX, analtica, etc), preguntas de res-puesta mltiple o corta relacionadas con los casos,entre otras. (Figuras 2 y 3).

Para que la ECOE sea vlida y fiable debe reunir,de acuerdo con la literatura cientfica, una serie decondiciones o caractersticas: La duracin debe serentre 3 y 4 horas, tener 8 o ms pacientes simula-dos, cada estacin debe durar 10 minutos, tener unmximo de 30 tems de evaluacin por caso, no msde 20 candidatos a evaluar en cada sesin y combi-nar, de acuerdo con las competencias a evaluar,varios instrumentos evaluativos como los menciona-dos, entre otras.

Fig. 2

Fig. 3

resumen de ponencias

S/21

durante el trabajo independiente de los profesiona-les con el propsito de recertificacin y carrera pro-fesional. (Figura 4)

Ser necesario por tanto dirigir acciones evalua-doras a estos tres niveles, que sern necesariamen-te diferentes, no tan solo en cuanto a contenidossino a los mtodos a utilizar. Adems, ser necesa-rio utilizar los mtodos de evaluacin objetiva parala seleccin de los profesionales para adecuarlos asus lugares de trabajo.

Por lo que respecta a las instituciones responsa-bles que tendran que utilizar los mtodos de eva-luacin en los niveles antes mencionados tendran,a nuestro entender, de ser en el pregrado, lasFacultades de Medicina y Escuelas Universitariasde Enfermera conjuntamente con los colegios profe-sionales, que son los organismos responsables degarantizar a la sociedad la competencia de sus pro-fesionales. En el nivel de especializacin seran lassociedades cientficas como organismos que agru-pan a los diferentes especialistas. En la seleccin delos profesionales, de acuerdo con las necesidadesexplicitadas por la definicin de las competenciaspara un lugar de trabajo determinado, los centrossanitarios (proveedores sanitarios). Finalmente, larecertificacin sera responsabilidad de las socieda-des cientficas y/o de los colegios profesionales y lacarrera profesional o sistema de incentivacin y pro-mocin profesional correspondera a cada centrosanitario donde el profesional ejerce.

En un pas como el nuestro, en el cual no haytradicin de evaluacin de los profesionales alfinalizar la formacin postgraduada (certificacinde la especializacin) y/o durante el ejercicio pro-fesional (recertificacin), con frecuencia se confun-den, los objetivos, contenidos y mtodos de eva-

luacin de estos con los de un sistema de desarro-llo profesional.

De acuerdo con las experiencias internacionales,a menudo representada por los pases anglosajones(USA, Australia y Canad), la certificacin es nece-sario entenderla como la evaluacin que se realizaal finalizar una formacin especializada, con el obje-tivo de garantizar que se han adquirido aquellosconocimientos, habilidades y actitudes que confor-man la especialidad. Se trata por tanto de evaluarun abanico amplio de competencias de la especiali-dad y los mtodos de evaluacin, cada vez ms, sebasan en simulaciones tipo OSCE. Las institucionesresponsables de garantizar estas competencias sonlas sociedades cientficas (Boards).

Sobre la recertificacin, se tratara de evaluar lascompetencias comunes a todos los profesionales deuna especialidad determinada, independientementede la subespecialidad o experteza que est desarro-llando actualmente, se le evaluara peridicamentesobre las competencias "nucleares" de la especiali-dad. Los instrumentos de evaluacin empleadosconjugan las baremaciones de actividades formati-vas, las evaluaciones tipo OSCE y otros mtodos deevaluacin de la prctica real.

Por tanto, el concepto de carrera / promocin-des-arrollo profesional no est relacionado ni con la cer-tificacin ni con la recertificacin profesional. Entodo caso, estas ltimas serian requisitos previos apartir de los cuales seria preciso evaluar la experte-za y/o el cumplimiento de los objetivos asistencialesque constituyen el contenido de cualquier sistemade desarrollo profesional.

Cualquier sistema de incentivacin y promocinprofesional ha de contemplar estos contenidos y losmtodos de evaluacin se deben basar en las tareasreales de los profesionales.

En las dos ltimas conferencias de EducacinMdica, la 11th International Ottawa Conference onMedical Education (Barcelona 6-8 de Julio de 2004)y en el Congreso de la AMEE (Association forMedical Education in Europe, Edimburgo 5-8 deSeptiembre de 2004) se han tratado ampliamentelos aspectos conceptuales, los mtodos e instrumen-tos para la evaluacin del desarrollo profesionalcontinuado individual.

EXPERIENCIAS EN CATALUA SOBRE EVALUACIN DE LA COMPETENCIA

En Catalua, el Institut dEstudis de la Salut ini-ci en 1994, de acuerdo con estas directrices y orien-

Fig. 4

S/22

Educacin Mdica. Volumen 8, suplemento 2, Septiembre 2005

taciones internacionales, diferentes proyectos deevaluacin al final de la formacin de pregrado demdicos y enfermeras, en el postgrado con la valo-racin formativa de los residentes de la especialidadde Medicina familiar y comunitaria, para la certifi-cacin profesional con diversas sociedades cientfi-cas y colabor en la elaboracin de un documento,finalizado en 1997, sobre las bases conceptualespara un sistema de incentivacin y promocin pro-fesional que ha servido de gua para los convenios yacuerdos de las mesas de negociacin de las patro-nales sanitarias y los sindicatos (Convenio de la RedHospitalaria de utilizacin pblica. RHUP 2001-

2004 y Acuerdo de la mesa sectorial del InstitutoCataln de la Salud. ICS 2002-2006). (Figura 5)

El Libro Blanco de las profesiones sanitarias deCatalua, publicado el ao pasado, contemplamuchos de los aspectos bsicos mencionados sobre eldesarrollo profesional continuo individual y ahora seest procediendo al desarrollo operativo con diferen-tes grupos de trabajo, uno de ellos vinculado especfi-camente a la evaluacin y reconocimiento profesional.

Cabe sealar que, a partir de 1998 estos proyectosevaluativos adoptaron el formato evaluativo tipoECOE (Evaluacin Clnica Objetiva y Estructurada),que permita explorar todas las Competencias Clnicas.

Fig. 5