Actualizacin

LAB-acta 2007; 19:107-15

Competencia del citotecnlogo

en formacin para la interpretacin
citolgica de lesiones no neoplsicas
del crvix
Evaluacin de la competencia en la interpretacin de la muestra cervical
Gregorio Ramos-Ortega,1 Alberto Javier Garca-Garro, 2 Maritza del Consuelo Daz-Hernndez3
1. Coordinador de cursos tcnicos, IMSS, Hospital general de zona nm. 57, La Quebrada. Correo-e: ramosgregorio@hotmail.com
2. Coordinador mdico de estudios de programas de cursos tcnicos, IMSS, Coordinacin de Educacin en Salud. Correo-e: alberto.garcia@imss.gob.mx
3. Citotecnloga, IMSS, Hospital general de zona nm. 57 La Quebrada. Correo-e: madhier@hotmail.com

ABSTRACT

RESUMEN

In Mexico, the cytotechnologist is competent to emit a presumptive diagnosis by means of the interpretation cytologic of
cervical samples. In their formative process, to evaluate their
competence with objectivity is essential.
Objective. The aim of study was evaluate the competence
of student cytotechnologist in normal Pap smears.
Material and methods. A quasi experimental study was designed. It was built and it validated an objective structured
practical instrument to measure in the group of students in
cytotechnologist formation (n = 8) the domains in the interpretation cytologic of lesions non malignant of the cervix.
Results. The performance obtained was 62.5% of the students not competent in the initial mensuration, at the end 100%
was competent (Wilcoxon p < 0.05).
The agreement student-expert, index initial kappa 0.42, final
0.58 p 0.05.
Conclusion. The designed instrument gathers attributes of
validity and reliability, it discriminates against and it stratifies
the one it achieved of the competence indicating the domain
level achieved by the student in the interpretation cytologic of
lesions non malignant of the cervix.
Keywords: Competence, performance, cytotechnologist.

En Mxico, el citotecnlogo es competente para emitir un

diagnstico presuntivo mediante la interpretacin citolgica
de muestras cervicales. En su proceso formativo, evaluar su
competencia con objetividad resulta esencial.
Objetivo. Construir y validar un instrumento para medir la
competencia de los alumnos de citotecnologa en la tarea arriba descrita.
Metodologa. Estudio cuasiexperimental en alumnos en
formacin de citotecnlogo (n = 8). Con base en un examen
objetivo prctico estructurado, el instrumento mide su competencia en la interpretacin de lesiones no neoplsicas de
muestras cervicales.
Resultados. En la medicin inicial, 62.5% de los alumnos resultaron no competentes; en la final, 100%, resultaron competentes (Wilcoxon p < 0.05). El acuerdo alumno-experto, ndice
kappa inicial 0.42, final 0.58 p 0.05.
Conclusiones. El instrumento diseado rene atributos de
validez y confiabilidad, discrimina y estratifica el logro de la
competencia indicando el nivel de dominio logrado por el
alumno en la interpretacin citolgica de lesiones no neoplsicas del crvix.
Palabras clave: Competencia, evaluacin, citotecnlogo.

INTRODUCCIN
En nuestro pas, el citotecnlogo es el tcnico en el rea de
la salud competente para emitir un diagnstico presuntivo
mediante la interpretacin citolgica de muestras cervicales, conforme a la norma y al programa para la deteccin,
el diagnstico, el tratamiento, el control y la vigilancia epidemiolgica del cncer crvicouterino.(1)

L A B O R AT- a c t a Vo l . 1 9 N m . 4 2 0 0 7

Su proceso formativo ocurre en escenarios clnicoeducativos del sector salud. En el Instituto Mexicano del
Seguro Social (IMSS) el plan de estudios se basa en competencias profesionales, las cuales se distribuyen en tres ejes:
el de conocimientos, habilidades y destrezas para aplicar el
mtodo citolgico y establecer hiptesis citodiagnsticas
presuntivas; el de conocimientos, habilidades y destrezas
para aplicar el mtodo cientfico, epidemiolgico, docu-

107

Gregorio Ramos-Ortega y cols.

mental, administrativo y de informtica, as como el apoyo

metodolgico del idioma ingls; y, por ltimo, el de conocimientos, habilidades y destrezas que le permitan desarrollar
una disposicin biotica, dentro del marco legal, para el
trabajo colectivo y las relaciones interpersonales.
Estos tres ejes, integrados en tres mdulos, desarrollan
la competencia profesional, congruente con el perfil profesional planteado.(2)
Durante este proceso formativo, que dura un ao, el
alumno desarrolla actividades orientadas a obtener aprendizajes significativos y a interiorizar constructivamente los
conocimientos propios de su disciplina, los cuales han de
manifestarse durante el proceso de evaluacin.
En tales circunstancias, los alumnos al trmino del segundo mdulo llevan a cabo prcticas anlogas explorando
microscpicamente muestras citolgicas provenientes de las
pacientes que acuden a las unidades de medicina familiar
a realizarse la prueba citolgica (Papanicolaou), acercndose con ello a situaciones-problema que deben resolver.
Ello permite que el alumno integre los conocimientos
bsicos desarrollados en el mdulo anterior, a la vez que se
establece en l su papel social e institucional al visionar su
compromiso con la seguridad social, implcita en la relacin tcnico-paciente, lo que favorece el desarrollo de una
actitud de servicio.
La evaluacin del aprendizaje es parte esencial del proceso educativo, adems de que permite verificar el grado
de competencia alcanzado por los alumnos, ya que debe
conferir la posibilidad de identificar el dominio de las competencias logradas.
Evaluar la competencia en la interpretacin de lesiones
no neoplsicas de los estudiantes de citotecnologa es una
tarea difcil. Algunos instrumentos de evaluacin, como los
exmenes de opcin mltiple, las listas de cotejo o los exmenes de identificacin de imgenes citolgicas muestran
fuertes limitaciones tanto en su construccin como en su
objetividad al carecer de fiabilidad y validez.(3)
El inters por llevar a cabo una evaluacin de la competencia profesional en el personal de la salud en formacin,
con el rigor objetivo, confiable y vlido fue introducido y
desarrollado por primera vez por Harden y sus colaboradores en Escocia, en 1975, con su propuesta de examen clnico
objetivo estructurado; ms tarde, su prctica se extendi a
travs del examen prctico objetivo estructurado.(4,5)
Para nosotros, el punto de partida es no comparar un
alumno con otro, sino evaluar el nivel de su competencia
en relacin con las competencias de grado descritas en el
currculo, las cuales derivan de la competencia profesional
explcita en el plan de estudios, as como de las necesidades de salud de la sociedad, hechos educativos que hemos
expresados en el instrumento de medicin para evaluar la

108

interpretacin citolgica de lesiones no neoplsicas del crvix, instrumento que rene los atributos de confiabilidad
y validez.
El instrumento se construy con base en el examen objetivo prctico estructurado. Consta de un circuito formado
por un nmero variable de estaciones (veinte muestras citolgicas), por las cuales el alumno debe rotar y responder
o dar solucin a cada una en un tiempo determinado.
Hasta donde hemos indagado, no existen investigaciones educativas en nuestro pas relacionadas con la evaluacin de la interpretacin citolgica de lesiones no neoplsicas del crvix. No as en otros pases, donde la evaluacin
de la competencia citolgica ha llevado a desarrollar instrumentos de medicin estndar,(6,7,8) con notables influencias
empricas en nuestro medio.(9,10)
El propsito de ste trabajo es evaluar la competencia
de los alumnos en formacin de citologa para interpretar
lesiones no neoplsicas del cuello uterino, dando a conocer
la metodologa empleada en la construccin, validez y confiabilidad del examen prctico estructurado por objetivos
que se empleo para su evaluacin.

MATERIAL Y MTODOS
Se trata de un estudio cuasiexperimental en un grupo natural de ocho alumnos en formacin de citotecnologa, cuya
sede se localiza en un hospital general de zona del IMSS.

Variables de estudio
Mdulo de lesiones no neoplsicas del crvix. Se define
como la segunda de tres partes del curso formativo de citotecnlogos, con una duracin de 638 horas, durante las
cuales los alumnos integran a este mdulo las habilidades
de pensamiento, los conocimientos y las destrezas desarrolladas en el mdulo anterior.
Competencia para la interpretacin de lesiones no
neoplsicas. Se define como la evidencia de los conocimientos, las habilidades y las destrezas del alumno para
identificar y juzgar la calidad de la muestra citolgica, reconocer y apreciar hallazgos adicionales asociados a las lesiones no neoplsicas, as como reconocer y fundamentar
los cambios celulares de esas lesiones.
Su medicin es en directo mediante un examen prctico objetivo estructurado a travs de 20 estaciones de interpretacin citolgica, el cual explora estos tres dominios
de la competencia profesional que procede del mdulo de
lesiones no neoplsicas.
El primer dominio agrupa dos tems y explora la habilidad de observacin de clulas endocervicales y de me-

L A B O R AT- a c t a Vo l . 1 9 N m . 4 2 0 0 7

CONSTRUCCIN Y VALIDACIN
DEL INSTRUMENTO DE MEDICIN
El instrumento fue elaborado por profesores del curso
formativo de citotecnlogos, los cuales nos planteamos las
premisas siguientes:
Confiabilidad del instrumento. Lograr una estabilidad
de la medida cuando sta se repita varias veces, distinguiendo entre dos mediciones.
Validez del instrumento. Correspondencia entre la
competencia de grado por alcanzar, de acuerdo con
los contenidos de las unidades didcticas y los objetivos planteados conforme a la clasificacin taxonmica
de Bloom.(11)
Evaluacin basada en la resolucin de problemas. Emplear casos citolgicos reales como estaciones de interpretacin citolgica.
Medir la competencia del alumno con una escala de
puntuacin de la competencia y mediante el acuerdo
citodiagnstico entre los citotecnlogos en formacin
y los citotecnlogos expertos.
Con base en lo anterior, el instrumento se conform de
un circuito con 20 estaciones de interpretacin citolgica,
las cuales consistieron en igual nmero de muestras de citologa cervical, todas con diagnstico citolgico presuntivo
de negativo con proceso inflamatorio. Adems de que las
estaciones de interpretacin guardaron la congruencia con
los contenidos referidos en las unidades didcticas correspondientes al mdulo II del curso, se procur que stas
fueran representativas de la problemtica citopatolgica no
neoplsica ms frecuentemente observada en el laboratorio
de citologa exfoliativa.
La validez de contenido se logr sometiendo las estaciones de interpretacin citolgica seleccionadas a una
ronda de tres citotecnlogos expertos en citologa acreditados por el Instituto de Referencia Epidemiolgica de la
Secretara de Salud. Posterior al acuerdo tres de tres para

L A B O R AT- a c t a Vo l . 1 9 N m . 4 2 0 0 7

cada una de las estaciones de interpretacin citolgica, se

conform el circuito con sus estaciones, se calcul el ndice
kappa entre los tres expertos.
Se aplic una prueba piloto a un grupo de nueve citotecnlogos, con lo que se determin la confiabilidad del
instrumento mediante alfa de Cronbach.
Las opciones de respuesta del instrumento son las siguientes:
Presente, cuando el alumno observa y se pronuncia por
la existencia de hallazgos morfolgicos celulares propuestos en la estacin de interpretacin citolgica.
Ausente, cuando el alumno observa y se pronuncia por
la ausencia de hallazgos morfolgicos celulares propuestos en la estacin de observacin.
El instrumento de recoleccin de datos se construy con base en la bitcora de revisin diaria de muestras
citolgicas (diseada por los alumnos) y la solicitud de
muestras citolgicas empleada en el programa de deteccin
oportuna de cncer crvico-uterino en el IMSS.
Se consider como decisin acertada cuando existi
concordancia entre la observacin realizada por el alumno
y la del experto, y errnea cuando no existi concordancia.
Las decisiones acertadas sumaban un punto; las no
acertadas restaban un punto. Se determin el punto de
corte esperado por efectos del azar a travs de la frmula
propuesta por Prez y Viniegra,(12) a partir del cual se construy una escala que permite observar los distintos niveles
de la competencia, que van desde profano hasta experto.
Adems, se calcul mediante el ndice kappa el nivel
de concordancia alcanzado por el alumno y el de los tres
citotecnlogos expertos empleando la escala propuesta
por Altman, que va desde pobre acuerdo hasta muy buen
acuerdo.(13,14)

Aplicacin del examen

Previo a su aplicacin, se explic a los alumnos las caractersticas y la dinmica del examen, adems de que se les
solicit su aprobacin para participar en la investigacin.
El examen se realiz al iniciar y finalizar el mdulo
II, Interpretacin de lesiones no neoplsicas, que dura
cuatro meses, empleando el mismo microscopio y espacio
que los alumnos ocupan durante el proceso formativo en
el aula-laboratorio. El tiempo destinado a cada estacin de
interpretacin citolgica fue de 12 minutos, siendo ste, el
tiempo que un citotecnlogo debe destinar a resolver un
caso similar en situaciones reales laborales.
El nivel de competencia para la interpretacin de lesiones no neoplsicas se determin a travs de la puntuacin

109

Competencia para la interpretacin de lesiones no neoplsicas del crvix

taplasia escamosa. El segundo agrupa cinco tems e indaga

la habilidad para observar cualquiera de las categoras diagnsticas siguientes: negativo a cncer; negativo a cncer con
proceso inflamatorio; negativo a cncer con proceso inflamatorio leve, moderado y severo. El tercer dominio agrupa 12 tems y averigua la habilidad de observar cualquiera
de los microorganismos o condicin citolgica siguientes:
flora bacteriana: cocoide, bacilar y mixta; actinomices; gardnerella; leptotrix; clamidia; cndida; tricomonas; herpes virus; deficiencia de cido flico.

Gregorio Ramos-Ortega y cols.

obtenida por el alumno. Se sum un punto cuando demostr una decisin acertada y se le rest un punto cuando
tom una decisin errnea. Adems, se determin el acuerdo del citodiagnstico que demostraron los alumnos ms
all del debido al azar y los citotecnlogos expertos.

Anlisis estadstico
La calificacin y captura de la informacin se efectu mediante procedimiento ciego, incluido el anlisis estadstico
que consisti en lo siguiente:
Prueba de pares igualados de Wilcoxon para comparar
la competencia global y por dominio antes y despus
del mdulo II.
Prueba de homogeneidad de chi cuadrada para determinar si los ndices kappa son diferentes en los alumnos antes y despus del mdulo.
Prueba de correlacin simple por rangos de Spearman
(rs) para estimar el grado de asociacin entre los resultados de la puntuacin de competencia y la concordancia entre observadores.

RESULTADOS
Participaron en la investigacin el total de los ocho alumnos inscritos en el curso formativo de citotecnlogo. El
instrumento final qued formado con 20 unidades de interpretacin citolgica de un total de 50 preseleccionadas.
Validez del instrumento. El cuadro 1 muestra los ndices kappa que expresan el nivel de concordancia emitida por los citotecnlogos expertos en relacin con las 20
unidades de interpretacin; como se advierte, el grado de
acuerdo entre los tres expertos result muy bueno: ndice
kappa > 0.81 en las tres parejas.

Cuadro 1. Concordancia entre citotecnlogos expertos en relacin con veinte unidades de interpretacin citolgica. ndice
kappa*

experto 1
experto 2
experto 3

experto 1
1
0.846
0.975

experto 2

Cuadro 2. Confiabilidad global y por dominio del instrumento en

nueve citotecnlogos expertos.

Dominio
1
0.822

tems

Alfa de
Cronbach

40

0.7190

100

0.9120

240
380

0.8510
0.9400

experto 3

Criterios de interpretacin de Altman para el ndice kappa; concordancias muy buenas son aquellas cuyos ndices sean mayores a 0.81; buenas
aquellas cuyos ndices se encuentren entre 0.61 y 0.80; moderadas aquellas cuyos ndices se encuentren entre 0.41 y 0.60, dbiles aquellas cuyos
ndices se encuentren entre 0.21 y 0.40, y pobres los ndices menores de
0.20.
*p 0.00.

110

Confiabilidad del instrumento. Cada unidad de interpretacin citolgica se form con 19 tems, que se agruparon en tres dominios, lo que result en un total de 20
unidades de interpretacin con 380 tems. En el anlisis de
la consistencia interna no se necesit la exclusin de tems.
El coeficiente alfa de Cronbach calculado para el global del
instrumento fue de 0.94; el mismo coeficiente para los tres
dominios (que corresponden en cierta medida con los objetivos planteados por Bloom) vari entre 0.71 y 0.91; los
valores del coeficiente alfa por dominio se presentan en el
cuadro 2.
Competencia para la interpretacin de lesiones no
neoplsicas. La competencia global antes y despus del
mdulo se observa en el cuadro 3. En la medicin inicial
62.5% result no competente. En la medicin final, 100%
alcanz a ser competente.
En el cuadro 4 se observa la competencia demostrada
por alumno, expresada por su puntuacin alcanzada. Se
aprecian claras diferencias significativamente estadsticas al
final del mdulo II.
En el cuadro 5 se muestra el grado de acuerdo del alumno y el grupo de expertos. Se nota un aumento significativo
en el ndice kappa en los dominios 1, 2 y global (identificar
y juzgar la calidad de la muestra, reconocer y apreciar los
hallazgos citolgicos adicionales, respectivamente), no as
en el de reconocer y fundamentar las lesiones no neoplsicas. Se observa adems que los ndices kappa estimados
no son homogneos.
En el cuadro 6 se exponen los resultados expresados
en trminos de nivel de competencia y grado de acuerdo;
ambos (escala de puntuacin e ndice kappa) se comportan
de manera similar. Se observa que el nivel de competencia
pas de profano a competente, mientras que el acuerdo
alumno-experto pas de dbil a bueno. La correlacin entre
nivel de competencia y grado de acuerdo result al inicio
del mdulo r Spearman = 0.69 y al final r Spearman =
0.92.

Identificar y juzgar la
calidad de la muestra
Reconocer y apreciar hallazgos
citolgicos adicionales
Reconocer y fundamentar las
lesiones no neoplsicas
Global

L A B O R AT- a c t a Vo l . 1 9 N m . 4 2 0 0 7

Nivel de competencia
Experto
Competente
Novato
Profano
Punto de corte*

n = 8 alumnos
Inicial
Final
%
%

Puntuacin
296-384
208-295
120-207
32-119
0-31

0
37.5
50.0
12.5
0

0
100
0
0
0

* Calificacin esperada por el azar, frmula de Prez Padilla-Viniegra.

DISCUSIN
Evaluar la competencia de los alumnos en formacin de
citotecnologa es sumamente complejo debido a las diversas
y mltiples caractersticas que la comportan, por lo que el
grado de dificultad que conlleva su medicin de manera
objetiva y directa es alto.
El instrumento de evaluacin aqu presentado, que
rene criterios de validez y confiabilidad, busca acercarse
a la medicin de una competencia profesional de manera
objetiva, prctica y estructurada.
Es nuestra intencin contribuir a la investigacin
educativa, en particular en lo referente a la evaluacin por
competencias profesionales, presentando nuestro punto
de llegada en la exploracin de instrumentos de recoleccin de datos y su proceso de validacin, dando a conocer nuestra experiencia, la cual evidencia que cuando se

utilizan problemas reales en la evaluacin en escenarios

clnico educativos, en iguales circunstancias en las que se
realiza el proceso educativo y en un tiempo determinado,
nos permite acercarnos al desempeo del alumno de manera objetiva mediante la construccin de una escala de
puntuacin.
El coeficiente alfa de Cronbach de 0.94 para el instrumento global al compararlo con los valores obtenidos por
separado en los tres dominios nos asegura que la variable
interpretacin de las lesiones no neoplsicas est integrada
por diversos componentes que la comportan en conjunto
de manera compleja.
Est claro para nosotros que cuanto ms homogneos
sean los tems, tanto menor ser el valor del coeficiente
alfa de Cronbach. Esta situacin de homogeneidad de tems
impide una discriminacin aceptable atribuible al instrumento, como se puede observar de nuestros resultados.

Cuadro 4. Competencia global obtenida por los citotecnlogos en formacin al inicio y al trmino del mdulo Interpretacin de lesiones
no neoplsicas.
Competencia*
Dominio

Mxima

Inicial

Final

p**

1. Identificar y juzgar la calidad de la muestra.

40

14
(8-22)

30
(20-32)

0.012

2. Reconocer y apreciar hallazgos citolgicos adicionales.

140

142
(80-160)

168
(150-188)

0.012

3. Reconocer y fundamentar las lesiones no neoplsicas.

100

37
(26-66)

52
(36-70)

0.035

380

202
(114-224)

246
(228-288)

0.017

Global
* Puntuacin expresada en medianas y rangos.
** Prueba de pares igualados de Wilcoxon (p < 0.05)

L A B O R AT- a c t a Vo l . 1 9 N m . 4 2 0 0 7

111

Competencia para la interpretacin de lesiones no neoplsicas del crvix

Cuadro 3. Competencia del citotecnlogo en formacin al principio y al final del mdulo de interpretacin
de lesiones no neoplsicas.

Gregorio Ramos-Ortega y cols.

Cuadro 5. Concordancia entre citotecnlogos en formacin y expertos en 20 unidades de interpretacin citolgica.

Dominio

Evaluacin

ndice
de kappa*

Intervalo
de confianza
95%

Inicial

0.1999

0.0851-0.3147

Final

0.6216

0.5265-0.7167

Inicial

0.2689

0.2116-0.3263

Final

0.5259

0.4775-0.5744

Inicial

0.4223

0.3554-0.4892

Final

0.4828

0.4207-0.5448

Inicial

0.4256

0.3885-0.4627

Final

0.5866

0.5551-06182

1. Identificar y juzgar la
calidad de la muestra

2. Reconocer y apreciar
hallazgos citolgicos
adicionales
3. Reconocer y fundamentar las lesiones no
neoplsicas

Global

Inicial vs final
p**

Homogeneidad
de kappa***
inicial vs final

0.012

119.085

0.012

93.022

ns

32.243

0.012

69.867

* Criterios de interpretacin de Altman para el ndice kappa; concordancias muy buenas aquellas cuyos ndices sean mayores a 0.81; buenas aquellas
cuyos ndices se encuentren entre 0.61 y 0.80, moderadas aquellas cuyos ndices se encuentren entre 0.41 y 0.60, dbiles aquellas cuyos ndices se
encuentren entre 0.21 y 0.40 y pobres los ndices menores de 0.20.
** Prueba de pares igualados de Wilcoxon (p < 0.05).
*** Ji cuadrada de homogeneidad (24.99), con 15 grados de libertad, intervalo de confianza de 95%, p < 0.05.

Por su valor, los tems agrupados en torno al dominio identificar y juzgar la calidad de la muestra (0.719),
podran considerarse con un ndice de confiabilidad bajo,
sin embargo se decidi no eliminarlo en razn a que estos
tems son aspectos importantes para la interpretacin de
lesiones no neoplsicas; adems, no existe una regla generalizada del nivel del valor de consistencia aceptado como
recomendable para valorar la posibilidad de eliminar los
tems que bajen la confiabilidad global.
El valor elevado del coeficiente alfa de Cronbach indica
que el instrumento tiene una elevada consistencia interna,
lo cual implica una alta correlacin entre los tems que lo
integran, de manera que stos contribuyen de manera relevante a la evaluacin de la competencia.
Consideramos que metodolgicamente el instrumento
guarda buena congruencia entre las competencias de grado, los contenidos del plan de estudios correspondientes al
mdulo II, Lesiones no neoplsicas del crvix, y los casos
citolgicos reales; todo ello, aunado al muy buen acuerdo
entre los citotecnlogos expertos en relacin con las 20
unidades de interpretacin, contribuyeron a su validez de
contenido, criterio y construccin, lo que indica que el instrumento mide lo que pretende medir, confiriendo validez
al instrumento.
Esta confiabilidad elevada y, en consecuencia, su estabilidad y consistencia interna permiten, por tanto, establecer

112

una escala del nivel de competencia en la interpretacin de

lesiones no neoplsicas de muestras cervicales (puntuacin
de la competencia).
Por cuanto al criterio para la seleccin de las estaciones,
consideramos que stas son representativas de las muestras
cervicales con lesiones no neoplsicas de pacientes que acuden al programa de deteccin oportuna del cncer en el
IMSS. Se trata, en consecuencia de casos citolgicos reales
que funcionan como verdaderos problemas para que los
resuelva el alumno.
Para nosotros es claro que cualquier actividad que se
realice en el aula, fundamentalmente por el alumno, puede
ser considerada como un instrumento de recoleccin de
datos. De aqu que disear la hoja de recoleccin de datos
con base en la bitcora de muestras cervicales interpretadas
por el alumno resulta una evidencia de producto adecuada
por que es all donde se refieren los resultados identificables
y tangibles de la manera en que los alumnos han desarrollado habilidades bsicas como la observacin y el pensamiento crtico. Por ello, la bitcora y su ajuste a la solicitud
de la muestra cervical en la que se reporta el resultado citolgico es un buen instrumento de recoleccin de evidencia
por producto para demostrar la competencia realizada.(15)
Consideramos que en exmenes objetivos prcticos estructurados, el tem, visto como elemento constitutivo del
instrumento de medicin, es el enunciado que acta desa-

L A B O R AT- a c t a Vo l . 1 9 N m . 4 2 0 0 7

Alumno

Puntuacin*

ndice kappa**

Nivel de competencia

Acuerdo alumno-experto

inicial

final

inicial

final

inicial

final

inicial

final

208

252

0.432

0.584

Competente

Competente

Moderado

Moderado

213

260

0.480

0.612

Competente

Competente

Moderado

Bueno

200

288

0.500

0.709

Novato

Competente

Moderado

Bueno

224

244

0.498

0.593

Competente

Competente

Moderado

Moderado

114

230

0.391

0.536

Profano

Competente

Dbil

Moderado

204

228

0.425

0.516

Novato

Competente

Moderado

Moderado

182

248

0.337

0.601

Novato

Competente

Dbil

Moderado

160

236

0.323

0.542

Novato

Competente

Dbil

Moderado

r de Spearman entre la competencia y el acuerdo al inicio del mdulo

r de Spearman entre la competencia y el acuerdo al final del mdulo

0.69
0.92

p < 0.05
p < 0.001

* Prueba de pares igualados de Wilcoxon (p < 0.05).

* * p 0.05.

fiando al alumno para que asuma una posicin respecto a la

situacin-problema que se enfrenta, situacin que se refleja
en nuestro estudio en una decisin correcta o incorrecta
frente a lo que observa bajo el microscopio.
En la prctica mdica, una decisin correcta o incorrecta es relevante, puesto que justamente se trata de emitir
un juicio de valor relativo al estado de salud, en este caso
de la paciente que solicita el estudio citolgico.
Cuando el alumno se enfrenta a una situacin-problema real, inicialmente se enfrenta a la vez a dos situaciones:
1) el alumno elige una opcin correcta, en cuyo caso se
parte del supuesto de que sabe la respuesta y decide correctamente; y 2) el alumno toma una decisin incorrecta
porque no sabe la respuesta.
Sin embargo, caben dos posibilidades ms: que se decida de manera correcta aunque no sepa la respuesta correcta o bien, que se decida incorrectamente aunque s sepa
la respuesta correcta. Esto ltimo puede suceder debido a
situaciones del orden psicolgico propiciado por estados
de estrs que sufren las personas cuando saben que estn
siendo evaluados.
Sumar un punto por cada ejecucin correcta de la resolucin de un tem y penalizar el error, adems de permitir
hacer un corte por las puntuaciones esperadas por el azar,
desde nuestro punto de vista permite establecer un criterio ms objetivo para valorar ms que las habilidades de
observacin desarrolladas por el alumno, la decisin que
ste asume, en el supuesto de que para ello el alumno ha
integrado las competencias desarrolladas a travs de su formacin, situacin que tiene que ver con el desarrollo de sus
habilidades de pensamiento crtico.

L A B O R AT- a c t a Vo l . 1 9 N m . 4 2 0 0 7

Por los resultados obtenidos, podemos afirmar que el

instrumento discrimina bien, lo que se nota en el incremento significativo del nivel de competencia para la interpretacin de lesiones no neoplsicas al finalizar el mdulo.
Es ah donde se aprecian diferencias significativas entre
los resultados por alumno, pues no hay una distribucin
homognea de las calificaciones. Consideramos que estas
diferencias obedecen a la capacidad del alumno para discriminar entre una decisin correcta y una incorrecta.
Por cuanto al tiempo de 12 minutos otorgado para
la resolucin del examen, est dentro de los criterios de
desempeo profesionales de acuerdo con la Norma Oficial
Mexicana para la Prevencin, Diagnstico, Tratamiento,
Control y Vigilancia Epidemiolgica del Cncer Crvico
Uterino (NOM-014-SSA2-1994) y dentro de los criterios
citolgicos para este tipo de exmenes.
Proponemos como escala de calificacin la puntuacin
de competencia, pues consideramos que es la ms adecuada
y pertinente porque en buena medida deja al descubierto
la decisin que el alumno toma.
En este estudio, los alumnos escalan y se distribuyen
de manera que es posible distinguir perfectamente tanto lo
que es explicable por el azar como el avance de profano a
competente. Adems, deja en claro que el instrumento est
explorando su habilidad del pensamiento crtico para la resolucin de un problema, y la del pensamiento lgico, como
lo hace la escala basada en el ndice de concordancia, en el
cual se esperaba una mnima variabilidad en las respuestas
de los alumnos a los tems antes y despus de haber cursado
el mdulo y, por el contrario, se observa que los ndices
kappa antes y despus son heterogneos y estadsticamente

113

Competencia para la interpretacin de lesiones no neoplsicas del crvix

Cuadro 6. Competencia y grado de acuerdo del citotecnlogo en formacin al inicio y al trmino del mdulo Interpretacin de lesiones
no neoplsicas.

Gregorio Ramos-Ortega y cols.

significativos, salvo en el dominio nmero tres, donde las

diferencias entre el alumno y el profesor al inicio y al final
del mdulo no son claras en el nivel de dominio de reconocer y fundamentar las lesiones no neoplsicas.
Una explicacin para este resultado es que este dominio requiere habilidades del pensamiento ms elaboradas
y complejas que slo se alcanzan a la luz de la experiencia,
situacin que en la escala de puntuacin de la competencia
tampoco se evidencia, pues ninguno de los alumnos alcanz a ser experto.
Este hecho abre una lnea de investigacin en la cual
nos plantea como interrogante por qu los alumnos que al
iniciar el mdulo calificaron de competentes no alcanzaron
a ser expertos en el tiempo que dur el mdulo? La respuesta plausible es revisar el plan de estudios del citotecnlogo
en cuanto al tiempo destinado para la prctica citolgica
e incluso cuestionar fuertemente la prctica educativa que
hacemos en el curso.
Desde la perspectiva estadstica, la homogeneidad sugiere que el alumno se encuentra en un nivel de conocimiento especfico, mientras que una alta variabilidad indica la existencia de problemas en el diseo del examen,
las condiciones de aplicacin o la forma en que contesta
el alumno.
Puesto que en el instrumento se logr una consistencia
interna alta y dado que en la aplicacin del instrumento se
mantuvieron las mismas condiciones en las que los alumnos realizan sus observaciones durante el proceso formativo, podemos concluir que la heterogeneidad del ndice de
acuerdo observado en los tres dominios es atribuible slo
a la forma en que el alumno decide, de manera errnea o
acertada.
Decidimos emplear dos escalas para determinar el nivel para la interpretacin de lesiones no neoplsicas del
crvix. Por un lado, la escala de puntuacin de la competencia y, por el otro, el ndice de concordancia, ya que el
primero marca el nivel de competencia individual y grupal
y el segundo indica el acuerdo entre dos observadores, ms
all del debido por el azar, que en nuestro caso es el del
alumno (profano-novato-competente) respecto al citotecnlogo experto.
En lo que se refiere a los coeficientes de correlacin
(0.69 antes y 0.92 despus del mdulo II), expresan que si
bien las habilidades del pensamiento lgico estn asociadas
a las del pensamiento crtico, estas ltimas tratan de cualidades distintas, caracterizadas segn Giancarlo y Facione
(2001), por seis habilidades centrales: anlisis, inferencia,
interpretacin, evaluacin, explicacin y autorregulacin.
La nocin de pensamiento crtico se considera un proceso
intencionado de pensamiento orientado al logro de una

114

meta, igual que el tipo de pensamiento utilizado en la resolucin de problemas, la toma de decisiones, el anlisis y
las inferencias lgicas.(16)
Hasta donde fue posible investigar en la base de datos,
no existe referente terico o emprico alguno de este tipo
de instrumentos de evaluacin en el rea citolgica. Ello
no es obstculo para contrastar y criticar el instrumento
aqu propuesto y, a la vez, sienta un precedente para la futura construccin de otros instrumentos con base en esta
metodologa.
Consideramos que cualquier instrumento que rena
atributos de validez y confiabilidad como el aqu presentado, ser de gran ayuda al proceso de formacin de los
alumnos, puesto que permite una identificacin precisa de
los avances o las deficiencias de aprendizaje del alumno por
dominio y global, situacin que se advierte en los resultados
obtenidos en cada una de las estaciones de interpretacin.
Asimismo se identifican las competencias ms dbiles y ms
fuertes de cada alumno, lo que permite orientar al profesor
y reorientar el proceso de enseanza de manera que al final
del curso se obtengan las competencias esperadas.
En conclusin, consideramos que se han cumplido los
objetivos propuestos, dado que el instrumento con base
en el examen prctico objetivo estructurado descrito en el
presente trabajo muestra atributos tales como: validez y
confiabilidad;(17) adems, logra enfrentar a los alumnos a
situaciones-problema reales en su futura prctica profesional y es indicador del grado en que el alumno incorpora
los contenidos tericos, construidos a travs del acomodamiento de esquemas cognitivos aprendidos en el mdulo
anterior y aplicado en el segundo mdulo del curso.
La observacin directa del alumno y la evidencia en la
manera en que opta por decisiones correctas o errneas
frente a situaciones-problema planteadas en el instrumento, el cual se corresponde con las competencias de grado
descritas en las unidades didcticas del plan de estudios,
no slo posibilita medir el eje del saber saber, sino tambin el del saber hacer (habilidades prcticas) incorporadas y consolidadas a lo largo del tercer mdulo y que
en el momento de la aplicacin y resolucin del examen
prctico objetivo estructurado se expresaron de forma
integradora.
Consideramos que el estudio es un buen acercamiento
para mirar lo que ocurre en el proceso formativo de este
personal, no por los resultados obtenidos, sino ms bien
como detonante y desafo para iniciarnos en un largo camino que nos lleve a mejorar nuestra prctica docente en la
formacin del profesional de la salud,(18,19) responsable en
buena medida del diagnstico oportuno de cncer crvico
uterino en nuestra institucin y en nuestro pas.

L A B O R AT- a c t a Vo l . 1 9 N m . 4 2 0 0 7

1. Norma oficial mexicana para la prevencin, diagnstico, tratamiento,

control y vigilancia epidemiolgica del cncer crvico uterino. NOM014-SSA2-1994. Mxico: Secretara de Salud, 1994.
2. Plan de estudios del curso formativo de citotecnlogo. Mxico: Instituto Mexicano del Seguro Social, 2005.
3. Programa operativo del curso de formacin profesional citotecnlogo.
Mxico: Instituto Mexicano del Seguro Social, 2005.
4. Ananthakrishnan N. Objective structured clinical/practical examination
(OSCE/OSPE), J Postgrad 1993; 39:82-4. Disponible en: http://www.
jpgmonline.com/article. asp?issn=0022-39:82-4 [Consulta: nov. de
2005].
5. Companioni LFA, Bacha RY, Santos RPE. Examen prctico estructurado por objetivos aplicado a Ciencias Morfolgicas, Rev Cubana Educ
Med Super, 1999; 13:39-45. Disponible en: http://scielo.sld.cu/scielo.
php?script=sci_arttext& pid=S0864-21411999000100006&lng=es&nr
m=iso>. ISSN 0864-2141. [Consulta: nov. de 2005].
6. Davey DD, MC Googan E, Somrak MT. Competency Assessment and
Proficiency Testing. Act Cytol 2000; 44:939-43.
7. Thompson, WD. Canadian Experience in Cytology. Proficiency testing.
Act Cytol, 1998; 33:484-6.
8. Nagy KG, Collins ND. False positive and false negative proficiency test.
Results in cytology. Act Cytol 1991; 35:3-7.
9. Lazcano-Ponce EC, Alonso P, Martnez AC, Murgua RL. Concordancia
diagnstica en citologa ginecolgica. Revista de investigacin clnica,
1997; 49:111-6.
10. Flisser A, Garca-Malo F, Canepa MA, Doncel S, Espinoza R, Moreno R,
vila I, Prez-Palacios G, Tapia-Conyer R, De la Fuente JR. Implementation and evaluation of a National External Quality Control Program for
Cervical Cytology in Mexico. Salud Pblica, Mx., 2002; 44(5):431-6.

11. Bloom B. Apndice: Versin condensada de los objetivos de la educacin. En: Taxonoma de los objetivos de la educacin. La clasificacin
de las metas educacionales, Buenos Aires: El Ateneo, 1979:162-7.
12. Prez PJ, Viniegra VL. Mtodo para calcular la distribucin de las calificaciones esperadas por azar en un examen tipo falso, verdadero, no
s. Revista de investigacin clnica, 1989; 41:375-9.
13. Cohen JA. Coefficient of agreement for nominal scales. Educ Psychol
Meas 1960; 20:37-46.
14. Altman DG. Practical statistics for medical research. Londres: Chapman
and Hall, 1991:140-1.
15. Consejo de Normalizacin y Certificacin de Competencia Laboral
(CONOCER). Anlisis ocupacional y funcional del trabajo: el enfoque
del anlisis funcional. Madrid: Organizacin de los Estados Iberoamericanos para la Educacin, la Ciencia y la Cultura, 2000:89-111.
16. Guzmn S y Snchez Escobedo P. (2006). Efectos de un programa de
capacitacin de profesores en el desarrollo de habilidades de pensamiento crtico en estudiantes universitarios en el Sureste de Mxico.
Revista Electrnica de Investigacin Educativa, 8 (2). Disponible en:
http://redie.uabc.mx/vol8no2/contenido-guzman.html [Consulta: nov.
de 2006].
17. Latour J, Abraira V, Cabello JB, Lpez Snchez J. Mtodos de investigacin en cardiologa clnica (IV). Las mediciones clnicas en cardiologa:
validez y errores de medicin. Revista Espaola de Cardiologa, 1977;
50:117-28.
18. Sabido-Siglehr M, Viniegra-Velzquez L. Competencia y desempeo
clnico en diabetes. Revista de Investigacin Clnica, 1998; 50:211-6.
19. Viniegra-Velzquez L, Jimnez JJ, Prez PR. El desafo de la evaluacin
de la competencia clnica. Revista de Investigacin Clnica 1991; 43,
87-98.

16 aos de evaluacin externa en qumica clnica

L A B O R AT- a c t a Vo l . 1 9 N m . 4 2 0 0 7

115

Competencia para la interpretacin de lesiones no neoplsicas del crvix

Referencias