LABORAT-acta Vol . 19 Núm. 4 2007 107

INTRODUCCIÓN

En nuestro país, el citotecnólogo es el técnico en el área de la salud competente para emitir un diagnóstico presuntivo mediante la interpretación citológica de muestras cervica-les, conforme a la norma y al programa para la detección, el diagnóstico, el tratamiento, el control y la vigilancia epi-demiológica del cáncer cérvicouterino.(1)

Competencia del citotecnólogo en formación para la interpretación citológica de lesiones no neoplásicas del cérvixEvaluación de la competencia en la interpretación de la muestra cervical

Gregorio Ramos-Ortega,1 Alberto Javier García-Garro,2 Maritza del Consuelo Díaz-Hernández3

1. Coordinador de cursos técnicos, IMSS, Hospital general de zona núm. 57, La Quebrada. Correo-e: ramosgregorio@hotmail.com2. Coordinador médico de estudios de programas de cursos técnicos, IMSS, Coordinación de Educación en Salud. Correo-e: alberto.garcia@imss.gob.mx3. Citotecnóloga, IMSS, Hospital general de zona núm. 57 La Quebrada. Correo-e: madhier@hotmail.com

Actualización

LAB-acta 2007; 19:107-15

Su proceso formativo ocurre en escenarios clínico-educativos del sector salud. En el Instituto Mexicano del Seguro Social (IMSS) el plan de estudios se basa en compe-tencias profesionales, las cuales se distribuyen en tres ejes: el de conocimientos, habilidades y destrezas para aplicar el método citológico y establecer hipótesis citodiagnósticas presuntivas; el de conocimientos, habilidades y destrezas para aplicar el método científi co, epidemiológico, docu-

ABSTRACTIn Mexico, the cytotechnologist is competent to emit a pre-sumptive diagnosis by means of the interpretation cytologic of cervical samples. In their formative process, to evaluate their competence with objectivity is essential. Objective. The aim of study was evaluate the competence of student cytotechnologist in normal Pap smears. Material and methods. A quasi experimental study was de-signed. It was built and it validated an objective structured practical instrument to measure in the group of students in cytotechnologist formation (n = 8) the domains in the interpre-tation cytologic of lesions non malignant of the cervix. Results. The performance obtained was 62.5% of the stu-dents not competent in the initial mensuration, at the end 100% was competent (Wilcoxon p < 0.05). The agreement student-expert, index initial kappa 0.42, fi nal 0.58 p ≤ 0.05. Conclusion. The designed instrument gathers attributes of validity and reliability, it discriminates against and it stratifi es the one it achieved of the competence indicating the domain level achieved by the student in the interpretation cytologic of lesions non malignant of the cervix. Keywords: Competence, performance, cytotechnologist.

RESUMENEn México, el citotecnólogo es competente para emitir un diagnóstico presuntivo mediante la interpretación citológica de muestras cervicales. En su proceso formativo, evaluar su competencia con objetividad resulta esencial. Objetivo. Construir y validar un instrumento para medir la competencia de los alumnos de citotecnología en la tarea arri-ba descrita. Metodología. Estudio cuasiexperimental en alumnos en formación de citotecnólogo (n = 8). Con base en un examen objetivo práctico estructurado, el instrumento mide su com-petencia en la interpretación de lesiones no neoplásicas de muestras cervicales. Resultados. En la medición inicial, 62.5% de los alumnos re-sultaron no competentes; en la fi nal, 100%, resultaron compe-tentes (Wilcoxon p < 0.05). El acuerdo alumno-experto, índice kappa inicial 0.42, fi nal 0.58 p ≤ 0.05. Conclusiones. El instrumento diseñado reúne atributos de validez y confi abilidad, discrimina y estratifi ca el logro de la competencia indicando el nivel de dominio logrado por el alumno en la interpretación citológica de lesiones no neoplá-sicas del cérvix. Palabras clave: Competencia, evaluación, citotecnólogo.

108 LABORAT-acta Vol . 19 Núm. 4 2007

Gre

go

rio R

amo

s-O

rteg

a y

cols

.

mental, administrativo y de informática, así como el apoyo metodológico del idioma inglés; y, por último, el de conoci-mientos, habilidades y destrezas que le permitan desarrollar una disposición bioética, dentro del marco legal, para el trabajo colectivo y las relaciones interpersonales.

Estos tres ejes, integrados en tres módulos, desarrollan la competencia profesional, congruente con el perfi l pro-fesional planteado.(2)

Durante este proceso formativo, que dura un año, el alumno desarrolla actividades orientadas a obtener apren-dizajes signifi cativos y a interiorizar constructivamente los conocimientos propios de su disciplina, los cuales han de manifestarse durante el proceso de evaluación.

En tales circunstancias, los alumnos al término del se-gundo módulo llevan a cabo prácticas análogas explorando microscópicamente muestras citológicas provenientes de las pacientes que acuden a las unidades de medicina familiar a realizarse la prueba citológica (Papanicolaou), acercán-dose con ello a situaciones-problema que deben resolver.

Ello permite que el alumno integre los conocimientos básicos desarrollados en el módulo anterior, a la vez que se establece en él su papel social e institucional al visionar su compromiso con la seguridad social, implícita en la rela-ción técnico-paciente, lo que favorece el desarrollo de una actitud de servicio.

La evaluación del aprendizaje es parte esencial del pro-ceso educativo, además de que permite verifi car el grado de competencia alcanzado por los alumnos, ya que debe conferir la posibilidad de identifi car el dominio de las com-petencias logradas.

Evaluar la competencia en la interpretación de lesiones no neoplásicas de los estudiantes de citotecnología es una tarea difícil. Algunos instrumentos de evaluación, como los exámenes de opción múltiple, las listas de cotejo o los exá-menes de identifi cación de imágenes citológicas muestran fuertes limitaciones tanto en su construcción como en su objetividad al carecer de fi abilidad y validez.(3)

El interés por llevar a cabo una evaluación de la compe-tencia profesional en el personal de la salud en formación, con el rigor objetivo, confi able y válido fue introducido y desarrollado por primera vez por Harden y sus colaborado-res en Escocia, en 1975, con su propuesta de examen clínico objetivo estructurado; más tarde, su práctica se extendió a través del examen práctico objetivo estructurado.(4,5)

Para nosotros, el punto de partida es no comparar un alumno con otro, sino evaluar el nivel de su competencia en relación con las competencias de grado descritas en el currículo, las cuales derivan de la competencia profesional explícita en el plan de estudios, así como de las necesida-des de salud de la sociedad, hechos educativos que hemos expresados en el instrumento de medición para evaluar la

interpretación citológica de lesiones no neoplásicas del cér-vix, instrumento que reúne los atributos de confi abilidad y validez.

El instrumento se construyó con base en el examen ob-jetivo práctico estructurado. Consta de un circuito formado por un número variable de estaciones (veinte muestras ci-tológicas), por las cuales el alumno debe rotar y responder o dar solución a cada una en un tiempo determinado.

Hasta donde hemos indagado, no existen investigacio-nes educativas en nuestro país relacionadas con la evalua-ción de la interpretación citológica de lesiones no neoplá-sicas del cérvix. No así en otros países, donde la evaluación de la competencia citológica ha llevado a desarrollar instru-mentos de medición estándar,(6,7,8) con notables infl uencias empíricas en nuestro medio.(9,10)

El propósito de éste trabajo es evaluar la competencia de los alumnos en formación de citología para interpretar lesiones no neoplásicas del cuello uterino, dando a conocer la metodología empleada en la construcción, validez y con-fi abilidad del examen práctico estructurado por objetivos que se empleo para su evaluación.

MATERIAL Y MÉTODOS

Se trata de un estudio cuasiexperimental en un grupo natu-ral de ocho alumnos en formación de citotecnología, cuya sede se localiza en un hospital general de zona del IMSS.

Variables de estudio

Módulo de lesiones no neoplásicas del cérvix. Se defi ne como la segunda de tres partes del curso formativo de ci-totecnólogos, con una duración de 638 horas, durante las cuales los alumnos integran a este módulo las habilidades de pensamiento, los conocimientos y las destrezas desarro-lladas en el módulo anterior.

Competencia para la interpretación de lesiones no neoplásicas. Se defi ne como la evidencia de los conoci-mientos, las habilidades y las destrezas del alumno para identifi car y juzgar la calidad de la muestra citológica, re-conocer y apreciar hallazgos adicionales asociados a las le-siones no neoplásicas, así como reconocer y fundamentar los cambios celulares de esas lesiones.

Su medición es en directo mediante un examen prác-tico objetivo estructurado a través de 20 estaciones de in-terpretación citológica, el cual explora estos tres dominios de la competencia profesional que procede del módulo de lesiones no neoplásicas.

El primer dominio agrupa dos ítems y explora la ha-bilidad de observación de células endocervicales y de me-

LABORAT-acta Vol . 19 Núm. 4 2007 109

Co

mp

eten

cia

par

a la

inte

rpre

taci

ón

de

lesi

one

s no

neo

plá

sica

s d

el c

érvi

x

taplasia escamosa. El segundo agrupa cinco ítems e indaga la habilidad para observar cualquiera de las categorías diag-nósticas siguientes: negativo a cáncer; negativo a cáncer con proceso infl amatorio; negativo a cáncer con proceso infl a-matorio leve, moderado y severo. El tercer dominio agru-pa 12 ítems y averigua la habilidad de observar cualquiera de los microorganismos o condición citológica siguientes: fl ora bacteriana: cocoide, bacilar y mixta; actinomices; gard-nerella; leptotrix; clamidia; cándida; tricomonas; herpes vi-rus; defi ciencia de ácido fólico.

CONSTRUCCIÓN Y VALIDACIÓN DEL INSTRUMENTO DE MEDICIÓN

El instrumento fue elaborado por profesores del curso formativo de citotecnólogos, los cuales nos planteamos las premisas siguientes:

• Confi abilidad del instrumento. Lograr una estabilidad de la medida cuando ésta se repita varias veces, distin-guiendo entre dos mediciones.

• Validez del instrumento. Correspondencia entre la competencia de grado por alcanzar, de acuerdo con los contenidos de las unidades didácticas y los objeti-vos planteados conforme a la clasifi cación taxonómica de Bloom.(11)

• Evaluación basada en la resolución de problemas. Em-plear casos citológicos reales como estaciones de inter-pretación citológica.

• Medir la competencia del alumno con una escala de puntuación de la competencia y mediante el acuerdo citodiagnóstico entre los citotecnólogos en formación y los citotecnólogos expertos.

Con base en lo anterior, el instrumento se conformó de un circuito con 20 estaciones de interpretación citológica, las cuales consistieron en igual número de muestras de cito-logía cervical, todas con diagnóstico citológico presuntivo de negativo con proceso infl amatorio. Además de que las estaciones de interpretación guardaron la congruencia con los contenidos referidos en las unidades didácticas corres-pondientes al módulo II del curso, se procuró que éstas fueran representativas de la problemática citopatológica no neoplásica más frecuentemente observada en el laboratorio de citología exfoliativa.

La validez de contenido se logró sometiendo las es-taciones de interpretación citológica seleccionadas a una ronda de tres citotecnólogos expertos en citología acredi-tados por el Instituto de Referencia Epidemiológica de la Secretaría de Salud. Posterior al acuerdo tres de tres para

cada una de las estaciones de interpretación citológica, se conformó el circuito con sus estaciones, se calculó el índice kappa entre los tres expertos.

Se aplicó una prueba piloto a un grupo de nueve ci-totecnólogos, con lo que se determinó la confi abilidad del instrumento mediante alfa de Cronbach.

Las opciones de respuesta del instrumento son las si-guientes:

• Presente, cuando el alumno observa y se pronuncia por la existencia de hallazgos morfológicos celulares pro-puestos en la estación de interpretación citológica.

• Ausente, cuando el alumno observa y se pronuncia por la ausencia de hallazgos morfológicos celulares pro-puestos en la estación de observación.

El instrumento de recolección de datos se constru-yó con base en la bitácora de revisión diaria de muestras citológicas (diseñada por los alumnos) y la solicitud de muestras citológicas empleada en el programa de detección oportuna de cáncer cérvico-uterino en el IMSS.

Se consideró como decisión acertada cuando existió concordancia entre la observación realizada por el alumno y la del experto, y errónea cuando no existió concordancia.

Las decisiones acertadas sumaban un punto; las no acertadas restaban un punto. Se determinó el punto de corte esperado por efectos del azar a través de la fórmula propuesta por Pérez y Viniegra,(12) a partir del cual se cons-truyó una escala que permite observar los distintos niveles de la competencia, que van desde profano hasta experto.

Además, se calculó mediante el índice kappa el nivel de concordancia alcanzado por el alumno y el de los tres citotecnólogos expertos empleando la escala propuesta por Altman, que va desde pobre acuerdo hasta muy buen acuerdo.(13,14)

Aplicación del examen

Previo a su aplicación, se explicó a los alumnos las carac-terísticas y la dinámica del examen, además de que se les solicitó su aprobación para participar en la investigación.

El examen se realizó al iniciar y fi nalizar el módulo II, “Interpretación de lesiones no neoplásicas”, que dura cuatro meses, empleando el mismo microscopio y espacio que los alumnos ocupan durante el proceso formativo en el aula-laboratorio. El tiempo destinado a cada estación de interpretación citológica fue de 12 minutos, siendo éste, el tiempo que un citotecnólogo debe destinar a resolver un caso similar en situaciones reales laborales.

El nivel de competencia para la interpretación de lesio-nes no neoplásicas se determinó a través de la puntuación

110 LABORAT-acta Vol . 19 Núm. 4 2007

Gre

go

rio R

amo

s-O

rteg

a y

cols

.

obtenida por el alumno. Se sumó un punto cuando demos-tró una decisión acertada y se le restó un punto cuando tomó una decisión errónea. Además, se determinó el acuer-do del citodiagnóstico que demostraron los alumnos más allá del debido al azar y los citotecnólogos expertos.

Análisis estadístico

La califi cación y captura de la información se efectuó me-diante procedimiento ciego, incluido el análisis estadístico que consistió en lo siguiente:

• Prueba de pares igualados de Wilcoxon para comparar la competencia global y por dominio antes y después del módulo II.

• Prueba de homogeneidad de chi cuadrada para deter-minar si los índices kappa son diferentes en los alum-nos antes y después del módulo.

• Prueba de correlación simple por rangos de Spearman (rs) para estimar el grado de asociación entre los re-sultados de la puntuación de competencia y la concor-dancia entre observadores.

RESULTADOS

Participaron en la investigación el total de los ocho alum-nos inscritos en el curso formativo de citotecnólogo. El instrumento fi nal quedó formado con 20 unidades de in-terpretación citológica de un total de 50 preseleccionadas.

Validez del instrumento. El cuadro 1 muestra los ín-dices kappa que expresan el nivel de concordancia emiti-da por los citotecnólogos expertos en relación con las 20 unidades de interpretación; como se advierte, el grado de acuerdo entre los tres expertos resultó muy bueno: índice kappa > 0.81 en las tres parejas.

Confi abilidad del instrumento. Cada unidad de in-terpretación citológica se formó con 19 ítems, que se agru-paron en tres dominios, lo que resultó en un total de 20 unidades de interpretación con 380 ítems. En el análisis de la consistencia interna no se necesitó la exclusión de ítems. El coefi ciente alfa de Cronbach calculado para el global del instrumento fue de 0.94; el mismo coefi ciente para los tres dominios (que corresponden en cierta medida con los ob-jetivos planteados por Bloom) varió entre 0.71 y 0.91; los valores del coefi ciente alfa por dominio se presentan en el cuadro 2.

Competencia para la interpretación de lesiones no neoplásicas. La competencia global antes y después del módulo se observa en el cuadro 3. En la medición inicial 62.5% resultó no competente. En la medición fi nal, 100% alcanzó a ser competente.

En el cuadro 4 se observa la competencia demostrada por alumno, expresada por su puntuación alcanzada. Se aprecian claras diferencias signifi cativamente estadísticas al fi nal del módulo II.

En el cuadro 5 se muestra el grado de acuerdo del alum-no y el grupo de expertos. Se nota un aumento signifi cativo en el índice kappa en los dominios 1, 2 y global (identifi car y juzgar la calidad de la muestra, reconocer y apreciar los hallazgos citológicos adicionales, respectivamente), no así en el de reconocer y fundamentar las lesiones no neoplá-sicas. Se observa además que los índices kappa estimados no son homogéneos.

En el cuadro 6 se exponen los resultados expresados en términos de nivel de competencia y grado de acuerdo; ambos (escala de puntuación e índice kappa) se comportan de manera similar. Se observa que el nivel de competencia pasó de profano a competente, mientras que el acuerdo alumno-experto pasó de débil a bueno. La correlación entre nivel de competencia y grado de acuerdo resultó al inicio del módulo r Spearman = 0.69 y al fi nal r Spearman = 0.92.

Cuadro 1. Concordancia entre citotecnólogos expertos en re-lación con veinte unidades de interpretación citológica. Índice kappa*

experto 1 experto 2 experto 3experto 1 1experto 2 0.846 1experto 3 0.975 0.822 1

Criterios de interpretación de Altman para el índice kappa; concordan-cias muy buenas son aquellas cuyos índices sean mayores a 0.81; buenas aquellas cuyos índices se encuentren entre 0.61 y 0.80; moderadas aque-llas cuyos índices se encuentren entre 0.41 y 0.60, débiles aquellas cuyos índices se encuentren entre 0.21 y 0.40, y pobres los índices menores de 0.20. *p ≤ 0.00.

Cuadro 2. Confiabilidad global y por dominio del instrumento en nueve citotecnólogos expertos.

Alfa deDominio Ítems Cronbach

Identificar y juzgar la calidad de la muestra 40 0.7190Reconocer y apreciar hallazgos citológicos adicionales 100 0.9120Reconocer y fundamentar las lesiones no neoplásicas 240 0.8510 Global 380 0.9400

LABORAT-acta Vol . 19 Núm. 4 2007 111

Co

mp

eten

cia

par

a la

inte

rpre

taci

ón

de

lesi

one

s no

neo

plá

sica

s d

el c

érvi

x

DISCUSIÓN

Evaluar la competencia de los alumnos en formación de citotecnología es sumamente complejo debido a las diversas y múltiples características que la comportan, por lo que el grado de difi cultad que conlleva su medición de manera objetiva y directa es alto.

El instrumento de evaluación aquí presentado, que reúne criterios de validez y confi abilidad, busca acercarse a la medición de una competencia profesional de manera objetiva, práctica y estructurada.

Es nuestra intención contribuir a la investigación educativa, en particular en lo referente a la evaluación por competencias profesionales, presentando nuestro punto de llegada en la exploración de instrumentos de recolec-ción de datos y su proceso de validación, dando a cono-cer nuestra experiencia, la cual evidencia que cuando se

utilizan problemas reales en la evaluación en escenarios clínico educativos, en iguales circunstancias en las que se realiza el proceso educativo y en un tiempo determinado, nos permite acercarnos al desempeño del alumno de ma-nera objetiva mediante la construcción de una escala de puntuación.

El coefi ciente alfa de Cronbach de 0.94 para el instru-mento global al compararlo con los valores obtenidos por separado en los tres dominios nos asegura que la variable interpretación de las lesiones no neoplásicas está integrada por diversos componentes que la comportan en conjunto de manera compleja.

Está claro para nosotros que cuanto más homogéneos sean los ítems, tanto menor será el valor del coefi ciente alfa de Cronbach. Esta situación de homogeneidad de ítems impide una discriminación aceptable atribuible al instru-mento, como se puede observar de nuestros resultados.

Cuadro 3. Competencia del citotecnólogo en formación al principio y al final del módulo de interpretación de lesiones no neoplásicas.

n = 8 alumnos Inicial FinalNivel de competencia Puntuación % %

Experto 296-384 0 0Competente 208-295 37.5 100Novato 120-207 50.0 0Profano 32-119 12.5 0Punto de corte* 0-31 0 0

* Calificación esperada por el azar, fórmula de Pérez Padilla-Viniegra.

p**

0.012

0.012

0.035

0.017

Cuadro 4. Competencia global obtenida por los citotecnólogos en formación al inicio y al término del módulo Interpretación de lesiones no neoplásicas.

Dominio

1. Identificar y juzgar la calidad de la muestra.

2. Reconocer y apreciar hallazgos citológicos adicionales.

3. Reconocer y fundamentar las lesiones no neoplásicas.

Global

Máxima

40

140

100

380

Inicial

14(–8-22)

142(80-160)

37(26-66)

202(114-224)

Final

30(20-32)

168(150-188)

52(36-70)

246(228-288)

Competencia*

* Puntuación expresada en medianas y rangos.** Prueba de pares igualados de Wilcoxon (p < 0.05)

112 LABORAT-acta Vol . 19 Núm. 4 2007

Gre

go

rio R

amo

s-O

rteg

a y

cols

.

Por su valor, los ítems agrupados en torno al domi-nio identifi car y juzgar la calidad de la muestra (0.719), podrían considerarse con un índice de confi abilidad bajo, sin embargo se decidió no eliminarlo en razón a que estos ítems son aspectos importantes para la interpretación de lesiones no neoplásicas; además, no existe una regla gene-ralizada del nivel del valor de consistencia aceptado como recomendable para valorar la posibilidad de eliminar los ítems que bajen la confi abilidad global.

El valor elevado del coefi ciente alfa de Cronbach indica que el instrumento tiene una elevada consistencia interna, lo cual implica una alta correlación entre los ítems que lo integran, de manera que éstos contribuyen de manera re-levante a la evaluación de la competencia.

Consideramos que metodológicamente el instrumento guarda buena congruencia entre las competencias de gra-do, los contenidos del plan de estudios correspondientes al módulo II, “Lesiones no neoplásicas del cérvix”, y los casos citológicos reales; todo ello, aunado al muy buen acuerdo entre los citotecnólogos expertos en relación con las 20 unidades de interpretación, contribuyeron a su validez de contenido, criterio y construcción, lo que indica que el ins-trumento mide lo que pretende medir, confi riendo validez al instrumento.

Esta confi abilidad elevada y, en consecuencia, su estabi-lidad y consistencia interna permiten, por tanto, establecer

una escala del nivel de competencia en la interpretación de lesiones no neoplásicas de muestras cervicales (puntuación de la competencia).

Por cuanto al criterio para la selección de las estaciones, consideramos que éstas son representativas de las muestras cervicales con lesiones no neoplásicas de pacientes que acu-den al programa de detección oportuna del cáncer en el IMSS. Se trata, en consecuencia de casos citológicos reales que funcionan como verdaderos problemas para que los resuelva el alumno.

Para nosotros es claro que cualquier actividad que se realice en el aula, fundamentalmente por el alumno, puede ser considerada como un instrumento de recolección de datos. De aquí que diseñar la hoja de recolección de datos con base en la bitácora de muestras cervicales interpretadas por el alumno resulta una evidencia de producto adecuada por que es allí donde se refi eren los resultados identifi cables y tangibles de la manera en que los alumnos han desarro-llado habilidades básicas como la observación y el pensa-miento crítico. Por ello, la bitácora y su ajuste a la solicitud de la muestra cervical en la que se reporta el resultado cito-lógico es un buen instrumento de recolección de evidencia por producto para demostrar la competencia realizada.(15)

Consideramos que en exámenes objetivos prácticos es-tructurados, el ítem, visto como elemento constitutivo del instrumento de medición, es el enunciado que actúa desa-

Cuadro 5. Concordancia entre citotecnólogos en formación y expertos en 20 unidades de interpretación citológica.

Dominio Evaluación Índice

de kappa*

Intervalo de confianza

95%Inicial vs final

p**

Homogeneidad de kappa*** inicial vs final

1. Identificar y juzgar la calidad de la muestra

Inicial 0.1999 0.0851-0.3147

0.012 119.085

Final 0.6216 0.5265-0.7167

2. Reconocer y apreciar hallazgos citológicos adicionales

Inicial 0.2689 0.2116-0.3263

0.012 93.022

Final 0.5259 0.4775-0.5744

3. Reconocer y funda-mentar las lesiones no neoplásicas

Inicial 0.4223 0.3554-0.4892

ns 32.243

Final 0.4828 0.4207-0.5448

GlobalInicial 0.4256 0.3885-0.4627

0.012 69.867Final 0.5866 0.5551-06182

* Criterios de interpretación de Altman para el índice kappa; concordancias muy buenas aquellas cuyos índices sean mayores a 0.81; buenas aquellas cuyos índices se encuentren entre 0.61 y 0.80, moderadas aquellas cuyos índices se encuentren entre 0.41 y 0.60, débiles aquellas cuyos índices se encuentren entre 0.21 y 0.40 y pobres los índices menores de 0.20.

** Prueba de pares igualados de Wilcoxon (p < 0.05). *** Ji cuadrada de homogeneidad (24.99), con 15 grados de libertad, intervalo de confianza de 95%, p < 0.05.

LABORAT-acta Vol . 19 Núm. 4 2007 113

Co

mp

eten

cia

par

a la

inte

rpre

taci

ón

de

lesi

one

s no

neo

plá

sica

s d

el c

érvi

x

fi ando al alumno para que asuma una posición respecto a la situación-problema que se enfrenta, situación que se refl eja en nuestro estudio en una decisión correcta o incorrecta frente a lo que observa bajo el microscopio.

En la práctica médica, una decisión correcta o inco-rrecta es relevante, puesto que justamente se trata de emitir un juicio de valor relativo al estado de salud, en este caso de la paciente que solicita el estudio citológico.

Cuando el alumno se enfrenta a una situación-proble-ma real, inicialmente se enfrenta a la vez a dos situaciones: 1) el alumno elige una opción correcta, en cuyo caso se parte del supuesto de que sabe la respuesta y decide co-rrectamente; y 2) el alumno toma una decisión incorrecta porque no sabe la respuesta.

Sin embargo, caben dos posibilidades más: que se de-cida de manera correcta aunque no sepa la respuesta co-rrecta o bien, que se decida incorrectamente aunque sí sepa la respuesta correcta. Esto último puede suceder debido a situaciones del orden psicológico propiciado por estados de estrés que sufren las personas cuando saben que están siendo evaluados.

Sumar un punto por cada ejecución correcta de la re-solución de un ítem y penalizar el error, además de permitir hacer un corte por las puntuaciones esperadas por el azar, desde nuestro punto de vista permite establecer un crite-rio más objetivo para valorar más que las habilidades de observación desarrolladas por el alumno, la decisión que éste asume, en el supuesto de que para ello el alumno ha integrado las competencias desarrolladas a través de su for-mación, situación que tiene que ver con el desarrollo de sus habilidades de pensamiento crítico.

Por los resultados obtenidos, podemos afi rmar que el instrumento discrimina bien, lo que se nota en el incre-mento signifi cativo del nivel de competencia para la inter-pretación de lesiones no neoplásicas al fi nalizar el módulo. Es ahí donde se aprecian diferencias signifi cativas entre los resultados por alumno, pues no hay una distribución homogénea de las califi caciones. Consideramos que estas diferencias obedecen a la capacidad del alumno para discri-minar entre una decisión correcta y una incorrecta.

Por cuanto al tiempo de 12 minutos otorgado para la resolución del examen, está dentro de los criterios de desempeño profesionales de acuerdo con la Norma Ofi cial Mexicana para la Prevención, Diagnóstico, Tratamiento, Control y Vigilancia Epidemiológica del Cáncer Cérvico Uterino (NOM-014-SSA2-1994) y dentro de los criterios citológicos para este tipo de exámenes.

Proponemos como escala de califi cación la puntuación de competencia, pues consideramos que es la más adecuada y pertinente porque en buena medida deja al descubierto la decisión que el alumno toma.

En este estudio, los alumnos escalan y se distribuyen de manera que es posible distinguir perfectamente tanto lo que es explicable por el azar como el avance de profano a competente. Además, deja en claro que el instrumento está explorando su habilidad del pensamiento crítico para la re-solución de un problema, y la del pensamiento lógico, como lo hace la escala basada en el índice de concordancia, en el cual se esperaba una mínima variabilidad en las respuestas de los alumnos a los ítems antes y después de haber cursado el módulo y, por el contrario, se observa que los índices kappa antes y después son heterogéneos y estadísticamente

Cuadro 6. Competencia y grado de acuerdo del citotecnólogo en formación al inicio y al término del módulo Interpretación de lesiones no neoplásicas.

Alumno Puntuación* Índice kappa** Nivel de competencia Acuerdo alumno-experto

inicial final inicial final inicial final inicial final

1 208 252 0.432 0.584 Competente Competente Moderado Moderado

2 213 260 0.480 0.612 Competente Competente Moderado Bueno

3 200 288 0.500 0.709 Novato Competente Moderado Bueno

4 224 244 0.498 0.593 Competente Competente Moderado Moderado

5 114 230 0.391 0.536 Profano Competente Débil Moderado

6 204 228 0.425 0.516 Novato Competente Moderado Moderado

7 182 248 0.337 0.601 Novato Competente Débil Moderado

8 160 236 0.323 0.542 Novato Competente Débil Moderado

r de Spearman entre la competencia y el acuerdo al inicio del módulor de Spearman entre la competencia y el acuerdo al final del módulo

0.69 p < 0.050.92 p < 0.001

* Prueba de pares igualados de Wilcoxon (p < 0.05).* * p ≤ 0.05.

114 LABORAT-acta Vol . 19 Núm. 4 2007

Gre

go

rio R

amo

s-O

rteg

a y

cols

.

signifi cativos, salvo en el dominio número tres, donde las diferencias entre el alumno y el profesor al inicio y al fi nal del módulo no son claras en el nivel de dominio de reco-nocer y fundamentar las lesiones no neoplásicas.

Una explicación para este resultado es que este domi-nio requiere habilidades del pensamiento más elaboradas y complejas que sólo se alcanzan a la luz de la experiencia, situación que en la escala de puntuación de la competencia tampoco se evidencia, pues ninguno de los alumnos alcan-zó a ser experto.

Este hecho abre una línea de investigación en la cual nos plantea como interrogante ¿por qué los alumnos que al iniciar el módulo califi caron de competentes no alcanzaron a ser expertos en el tiempo que duró el módulo? La respues-ta plausible es revisar el plan de estudios del citotecnólogo en cuanto al tiempo destinado para la práctica citológica e incluso cuestionar fuertemente la práctica educativa que hacemos en el curso.

Desde la perspectiva estadística, la homogeneidad su-giere que el alumno se encuentra en un nivel de conoci-miento específi co, mientras que una alta variabilidad in-dica la existencia de problemas en el diseño del examen, las condiciones de aplicación o la forma en que contesta el alumno.

Puesto que en el instrumento se logró una consistencia interna alta y dado que en la aplicación del instrumento se mantuvieron las mismas condiciones en las que los alum-nos realizan sus observaciones durante el proceso formati-vo, podemos concluir que la heterogeneidad del índice de acuerdo observado en los tres dominios es atribuible sólo a la forma en que el alumno decide, de manera errónea o acertada.

Decidimos emplear dos escalas para determinar el ni-vel para la interpretación de lesiones no neoplásicas del cérvix. Por un lado, la escala de puntuación de la compe-tencia y, por el otro, el índice de concordancia, ya que el primero marca el nivel de competencia individual y grupal y el segundo indica el acuerdo entre dos observadores, más allá del debido por el azar, que en nuestro caso es el del alumno (profano-novato-competente) respecto al citotec-nólogo experto.

En lo que se refi ere a los coefi cientes de correlación (0.69 antes y 0.92 después del módulo II), expresan que si bien las habilidades del pensamiento lógico están asociadas a las del pensamiento crítico, estas últimas tratan de cua-lidades distintas, caracterizadas según Giancarlo y Facione (2001), por seis habilidades centrales: análisis, inferencia, interpretación, evaluación, explicación y autorregulación. La noción de pensamiento crítico se considera un proceso intencionado de pensamiento orientado al logro de una

meta, igual que el tipo de pensamiento utilizado en la re-solución de problemas, la toma de decisiones, el análisis y las inferencias lógicas.(16)

Hasta donde fue posible investigar en la base de datos, no existe referente teórico o empírico alguno de este tipo de instrumentos de evaluación en el área citológica. Ello no es obstáculo para contrastar y criticar el instrumento aquí propuesto y, a la vez, sienta un precedente para la fu-tura construcción de otros instrumentos con base en esta metodología.

Consideramos que cualquier instrumento que reúna atributos de validez y confi abilidad como el aquí presen-tado, será de gran ayuda al proceso de formación de los alumnos, puesto que permite una identifi cación precisa de los avances o las defi ciencias de aprendizaje del alumno por dominio y global, situación que se advierte en los resultados obtenidos en cada una de las estaciones de interpretación. Asimismo se identifi can las competencias más débiles y más fuertes de cada alumno, lo que permite orientar al profesor y reorientar el proceso de enseñanza de manera que al fi nal del curso se obtengan las competencias esperadas.

En conclusión, consideramos que se han cumplido los objetivos propuestos, dado que el instrumento con base en el examen práctico objetivo estructurado descrito en el presente trabajo muestra atributos tales como: validez y confi abilidad;(17) además, logra enfrentar a los alumnos a situaciones-problema reales en su futura práctica profesio-nal y es indicador del grado en que el alumno incorpora los contenidos teóricos, construidos a través del acomoda-miento de esquemas cognitivos aprendidos en el módulo anterior y aplicado en el segundo módulo del curso.

La observación directa del alumno y la evidencia en la manera en que opta por decisiones correctas o erróneas frente a situaciones-problema planteadas en el instrumen-to, el cual se corresponde con las competencias de grado descritas en las unidades didácticas del plan de estudios, no sólo posibilita medir el eje del saber saber, sino tam-bién el del saber hacer (habilidades prácticas) incorpo-radas y consolidadas a lo largo del tercer módulo y que en el momento de la aplicación y resolución del examen práctico objetivo estructurado se expresaron de forma integradora.

Consideramos que el estudio es un buen acercamiento para mirar lo que ocurre en el proceso formativo de este personal, no por los resultados obtenidos, sino más bien como detonante y desafío para iniciarnos en un largo ca-mino que nos lleve a mejorar nuestra práctica docente en la formación del profesional de la salud,(18,19) responsable en buena medida del diagnóstico oportuno de cáncer cérvico uterino en nuestra institución y en nuestro país. ¿Tus resultados son confiables...?

16 años de evaluación externa en química clínica

LABORAT-acta Vol . 19 Núm. 4 2007 115

Co

mp

eten

cia

par

a la

inte

rpre

taci

ón

de

lesi

one

s no

neo

plá

sica

s d

el c

érvi

x

Referencias

1. Norma ofi cial mexicana para la prevención, diagnóstico, tratamiento, control y vigilancia epidemiológica del cáncer cérvico uterino. NOM-014-SSA2-1994. México: Secretaría de Salud, 1994.

2. Plan de estudios del curso formativo de citotecnólogo. México: Insti-tuto Mexicano del Seguro Social, 2005.

3. Programa operativo del curso de formación profesional citotecnólogo. México: Instituto Mexicano del Seguro Social, 2005.

4. Ananthakrishnan N. Objective structured clinical/practical examination (OSCE/OSPE), J Postgrad 1993; 39:82-4. Disponible en: http://www.jpgmonline.com/article. asp?issn=0022-39:82-4 [Consulta: nov. de 2005].

5. Companioni LFA, Bacha RY, Santos RPE. Examen práctico estructu-rado por objetivos aplicado a Ciencias Morfológicas, Rev Cubana Educ Med Super, 1999; 13:39-45. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext& pid=S0864-21411999000100006&lng=es&nrm=iso>. ISSN 0864-2141. [Consulta: nov. de 2005].

6. Davey DD, MC Googan E, Somrak MT. Competency Assessment and Profi ciency Testing. Act Cytol 2000; 44:939-43.

7. Thompson, WD. Canadian Experience in Cytology. Profi ciency testing. Act Cytol, 1998; 33:484-6.

8. Nagy KG, Collins ND. False positive and false negative profi ciency test. Results in cytology. Act Cytol 1991; 35:3-7.

9. Lazcano-Ponce EC, Alonso P, Martínez AC, Murguía RL. Concordancia diagnóstica en citología ginecológica. Revista de investigación clínica, 1997; 49:111-6.

10. Flisser A, García-Malo F, Canepa MA, Doncel S, Espinoza R, Moreno R, Ávila I, Pérez-Palacios G, Tapia-Conyer R, De la Fuente JR. Implementa-tion and evaluation of a National External Quality Control Program for Cervical Cytology in Mexico. Salud Pública, Méx., 2002; 44(5):431-6.

11. Bloom B. Apéndice: Versión condensada de los objetivos de la educa-ción. En: Taxonomía de los objetivos de la educación. La clasifi cación de las metas educacionales, Buenos Aires: El Ateneo, 1979:162-7.

12. Pérez PJ, Viniegra VL. Método para calcular la distribución de las cali-fi caciones esperadas por azar en un examen tipo falso, verdadero, no sé. Revista de investigación clínica, 1989; 41:375-9.

13. Cohen JA. Coeffi cient of agreement for nominal scales. Educ Psychol Meas 1960; 20:37-46.

14. Altman DG. Practical statistics for medical research. Londres: Chapman and Hall, 1991:140-1.

15. Consejo de Normalización y Certifi cación de Competencia Laboral (CONOCER). Análisis ocupacional y funcional del trabajo: el enfoque del análisis funcional. Madrid: Organización de los Estados Iberoame-ricanos para la Educación, la Ciencia y la Cultura, 2000:89-111.

16. Guzmán S y Sánchez Escobedo P. (2006). Efectos de un programa de capacitación de profesores en el desarrollo de habilidades de pensa-miento crítico en estudiantes universitarios en el Sureste de México. Revista Electrónica de Investigación Educativa, 8 (2). Disponible en: http://redie.uabc.mx/vol8no2/contenido-guzman.html [Consulta: nov. de 2006].

17. Latour J, Abraira V, Cabello JB, López Sánchez J. Métodos de investi-gación en cardiología clínica (IV). Las mediciones clínicas en cardiología: validez y errores de medición. Revista Española de Cardiología, 1977; 50:117-28.

18. Sabido-Siglehr M, Viniegra-Velázquez L. Competencia y desempeño clínico en diabetes. Revista de Investigación Clínica, 1998; 50:211-6.

19. Viniegra-Velázquez L, Jiménez JJ, Pérez PR. El desafío de la evaluación de la competencia clínica. Revista de Investigación Clínica 1991; 43, 87-98.

16 años de evaluación externa en química clínica