Artículo de Opinión

Titulo:

Claves para la evaluación efectiva del residente

Autor:

Dr. Alberto E. Alves de Lima¹*

* Miembro Titular de la Sociedad Argentina de Cardiología

¹ Director de Capacitación del Instituto Cardiovascular de Buenos Aires

Nombre y dirección del autor para correspondencia y reimpresiones

Dr. Alberto E Alves de Lima. Blanco Encalada 1525. CP 1428. Ciudad de

Buenos Aires. E-mail: aealvesdelima@icba-cardiovascular.com.ar

Introducción

La evaluación comienza con la identificación de los objetivos de aprendizaje y

finaliza con la determinación en qué nivel esos objetivos fueron alcanzados.

Debe ser un proceso sistemático que tiene un rol fundamental para una

enseñanza efectiva.

Para ello resulta imprescindible clarificar QUÉ será evaluado, seleccionar el

INSTRUMENTO de evaluación adecuado y conocer las LIMITACIONES de

cada instrumento que aplicamos. La evaluación es un medio hacia el final y no

un final en sí mismo (1).

Michael Kane definió competencia clínica como el grado en que un individuo

puede usar sus conocimientos, habilidades, el criterio asociado a su profesión

para llevar adelante eficientemente en diferentes escenarios los problemas de

su práctica (2).

Esta definición resalta elementos claves del concepto de competencia clínica.

Los evaluadores están interesados no sólo en poder evaluar a los residentes

en una actividad definida sino también poder generalizar en relación a otras

actividades en un rango de situaciones clínicas similares.

Estimar la competencia clínica de un profesional requiere tener en cuenta 3

elementos centrales: (a) evaluar la calidad de la habilidad observada, (b)

describir una conclusión general de la habilidad de la persona para

desenvolverse en un universo de situaciones similares y (c) poder extrapolar el

desempeño observado el las practicas a otras no observadas. Este último

punto entre lo que el estudiante puede hacer y hace en situaciones no

supervisadas introduce valores individuales (ej: razonabilidad, conceptos

éticos) a los factores (conocimientos, destrezas y habilidades) que definen su

comportamiento en la practica (3).

Miller ilustra claramente en su modelo conceptual de competencia clínica quë

es lo que los educadores deben evaluar. Miller concibe a la competencia clínica

como una pirámide: la base corresponde a la información o al conocimiento

fáctico, es decir el “saber”; en un nivel superior, a la habilidad de uso del

conocimiento en un contexto particular es decir el “saber cómo”. Ésto esta

directamente vinculado a la resolución de problemas y al razonamiento clínico.

En un nivel superior refleja la habilidad de la persona de actuar

apropiadamente en situaciones practicas es decir el “mostrar cómo”. El nivel

más alto refleja el desempeño actual en la practica diaria, es decir el ·hacer”.

Cuanto mas alto en la pirámide se encuentre la habilidad evaluada, más

autenticidad o realismo clínico el examen deberá poseer (4) Fig. 1.

Características de la Competencia Clínica

Multidimensionalidad

El término competencia clínica induce en algunos casos a pensar en términos

de capacidades focales o unitarias. Esto es una simplificación inapropiada del

término. La mayoría de los encuentros entre médicos y pacientes obliga a

integrar y desempeñar por lo menos 10 componentes a)clarificación del

problema del paciente, b) recolección de información en forma detallada y

cronológica, c) integrar, organizar e interpretar los datos obtenidos para

alcanzar una impresión diagnóstica e inclusive redefinirla a medida que

aparecen nuevos datos, d) definir objetivos de manejo, e) hacer

procedimientos, e) comunicarnos y relacionarnos efectivamente con el paciente

y su grupo familiar, f) trabajar en equipo con otros profesionales, g) evaluar

críticamente la información disponible, f) monitorear las destrezas y habilidades

individuales y actualizarse en forma sistemática y i) desempeñarse en forma

responsable (5).

Especificidad de caso

Los datos de investigación en educación médica son consistentes en demostrar

que el desempeño clínico es específico por caso. Es decir los médicos que son

exitosos en el diagnóstico y manejo de una situación clínica no son

necesariamente competentes en otras, inclusive siendo estas muy parecidas.

Van der Vleuten y Swanson concluyeron que la mayor fuente de variación de

los puntajes en 29 exámenes de competencia clínica con pacientes

estandarizados fue la variación del desempeño en diferentes situaciones.

Además sugieren que 16 hs. de observación de desempeño a través de una

gran variedad de situaciones clínicas son necesarias para obtener

estimaciones reproducibles de competencia clínica (6). En una experiencia

llevada a cabo en la Sociedad Argentina de Cardiología se concluyó que se

necesitan al menos 10 observaciones estructuradas al año para obtener

resultados reproducibles de competencia clínica (7).

Contexto

En general el contexto de evaluación es indefinido y no controlado. La

evaluación tradicional se caracteriza en que un docente observa a un residente

mientras interroga y examina un paciente, hace la historia clínica y presenta su

estrategia diagnóstica y terapéutica. Por otra parte el evaluador examina al

residente con ese paciente a lo largo de diferentes dimensiones. El tiempo

aproximado de esta acción no es menor a 120 minutos (8). En el mejor de los

casos la evaluación del desempeño es volcada en una escala “global” con

ítems más o menos definidos. El resultado de ésto es que el residente es

observado de la misma forma en casos de variable complejidad. Los

estándares usados para los casos pueden variar porque en general un solo

experto observa el encuentro entre el residente y el paciente y los expertos rara

vez estudian los casos en profundidad (3,9).

Problemas en la calidad de la evaluación

Falta de directa observación

Probablemente el mayor problema en la evaluación de las habilidades clínicas

es la falta de observación por parte de los docentes a los residentes. Por

décadas, los docentes han tomado como veraces las historias clínicas y los

resultados del examen físico informados por los residentes en las recorridas de

sala sin que el docente haya visto al residente efectuar dicho interrogatorio y

examen físico (9).

Exactitud

En un estudio randomizado diseñado para evaluar la exactitud de los docentes

en la evaluación de las habilidades clínicas de los residentes, Noel y Col. le

solicitó 203 docentes que observaran a 1 residentes mientras desempeñaban

un examen clínico en un paciente. Los docentes evaluaron inmediatamente las

habilidades clínicas del residente. El 50% de los evaluadores utilizaron un

formulario abierto y la otra mitad un formulario estructurado. Observaron que

cuando los formularios no eran estructurados, una típica características de los

formularios de evaluación que se utilizan en la práctica clínica, los docentes

detectaban sólo el 30% de las debilidades y fortalezas. Las fortalezas fueron

omitidas con mayor frecuencia que las debilidades. La evaluación de estas

fortalezas y debilidades aumentaron un 60% con los docentes que utilizaban

formularios estructurados (10,14).

Para adquirir mayor exactitud se requiere la utilización de pacientes

estandarizados o al menos el uso de escalas específicas para el caso a

observar. Por otra parte existe en general demora entre la observación y la

trascripción de las calificaciones obtenidas en el encuentro. La demora

introduce error en las calificaciones. En un estudio experimental con 180

participantes, Heneman demostró que las calificaciones transcriptas por los

evaluadores de 1 a 3 semanas más tarde eran de menor exactitud que las

transcriptas inmediatamente (11)..

Variaciones inter e intra observadores

Existen variaciones intra-observador vinculadas a cambios de la atención, de

perspectiva, de estándares, de humor o de estado de ánimo. Kalet y

colaboradores le solicitaron a un grupo de docentes que re-evaluaran

entrevistas video-grabadas luego de un período de 3 a 6 meses. Se observó

una bajísima correlación en las calificaciones asignadas al proceso de la

entrevista (12).

Existen variaciones inter-observadores. Diferencias de criterios, de puntos de

vista, de rigor son algunas fuentes de este problema.

Elliot y Hickam organizaron grupos de 3 docentes y observaron al mismo

alumno mientras efectuaba el interrogatorio y examen físico a un paciente.

Todos los docentes estaban familiarizados con la tarea que tenían que hacer y

se creo un ámbito donde se evitaba todo tipo de interrupciones. Todos

utilizaron un formulario o guía de observación con una detallada lista de cotejo.

Debían calificar cada ítem con una escala predefinida. Los investigadores

observaron en los evaluadores que el acuerdo fue malo en 17 de las 53

maniobras evaluadas, bueno en 18 y pobre en 18. El desacuerdo se presentó

principalmente en maniobras de palpación y percusión en donde la evaluación

no depende sólo de la observación (13). Es importante destacar también que la

calidad de la observación es otro elemento crucial. Existe una crítica

concurrente en relación a los métodos que evalúan la competencia clínica; es

que los evaluadores no distinguen en forma consistente diferentes niveles de

desempeño de los estudiantes. Noel y Herber en dos estudios sobre la

evaluación de habilidades clínicas a través del examen clínico tradicional con el

paciente, objetivaron una marcada discordancia en los puntajes otorgados por

los diferentes docentes frente al mismo problema. Además demostraron que

los docentes fallaron en detectar el 68% de los errores cometidos por los

residentes al observar un vídeo diseñado para evaluar desempeños marginales

(10). Kalet y col evaluaron la confiabilidad y la reproducibilidad de la

observación de los docentes durante habilidades de comunicación a través de

entrevistas grabadas y observaron que los docentes eran inconsistentes en

identificar el uso de preguntas abiertas o cerradas y en la evaluación de la

empatía y que el valor predictivo positivo de las evaluaciones de los docentes

no era mayor al 12% (12).

Conclusiones finales

En conclusión, en base a lo antes expuesto se proponen las siguientes

recomendaciones:

• Los estudiantes deben ser observados en un amplio espectro de

situaciones clínicas y procedimientos y por múltiples evaluadores. La

bibliografía en general sugiere al menos entre 7 a 11 observaciones para

obtener conclusiones razonables de la competencia clínica global del

estudiante o residente (14-16).

• Utilizar formularios cortos y estructurados. (Anexo 1 y 2)

• Definir claramente las consignas

• Dar tiempo para la evaluación

• Maximizar el valor de devolución (feed-back) como herramienta

formativa

• Solicitar la trascripción inmediata de las calificaciones luego del examen

• Complementar observaciones formales con informales

• Considerar trabajar en grupo para tomar decisiones de promoción

• Entrenar y calibrar a los evaluadores

• Chequear los instrumentos de evaluación

Referencias:

1. Linn, R Grouland N. Measurements and Assessment in Teaching. USA:

Prentice-Hall; 2000

2. Kane MT: The assessment of professional competence. Evaluation and the

Health Professions 1992;15:163-82

3. Willams R. Cognitive, social and environmental sources of bias in clinical

performance ratings

4. Miller G. The assessment of clinical skills / Competence /Performance.

Academic Medicine 1990; 65: s63-s67

5. Alguire P. Portfolio for internal medicine residency programs. www.abim.org

6. Van der Vleuten. Assessment of cliical skills with standardized patients:

State of the art. Teaching and Learning in Medicine1986;114:393-401

7. Castillo Costa Y, Alves de Lima A. Ejercicio de examen clínico reducido

(EECR): una herramienta para evaluar la competencia clínica. Resultados

Preliminares. Rev Arg de Cardiol 2004; 72: Supp 3, Abstract 251 pagina 70

8. Holomboe E, Hawkins R, Huot S. Effects of training in direct observation of

medical resident´ s clinical competence. A randomized trial. Ann Intern Med.

2004; 140: 874-81

9. Holomboe, E. Faculty and the observation of trainees clinical skills:

Problems and Opportunities. Acad Med. 2004; 79: 16-22

10. Noel GL. How well do internal medicine faculty members evaluate the

clinical skills of residents?. Annals of Internal Medicine 1992;117:757-65

11. Heneman RL. The effects of time relay in rating and amount of information

observed on performance rating accuracy. Academic of Management

Journal 1983; 26:677-86

12. Kalet A. How well do faculty evaluate the interviewing skills of medical

students?. Journal of General Internal Medicine 1992; 7: 499-505

13. Elliot DL. Evaluation of physical examination skills: reliability of faculty

observers and patients instructors. Journal of American Medical Association

1987; 258: 3405-8

14. Alves de Lima A. Observación directa del desempeño del residente: una

practica en desuso. Rev Argent cardiol 2005; 73:39-43

15. Norcini J, Blanck L. The Mini-CEX (Clinical Evaluation Exercise) A

Preliminary Investigation. Ann Intern Med 1995; 123: 795-799

16. Alves de Lima A, Henquin R, Thierer J. A qualitative study of the impact on

learning of the mini-clinical evaluation exercise in postgraduate training.

Medical Teacher 2005;27 (1), 46-52

 ANEXO 1

Pautas para la Implementación de EECR

EECR se centra en las habilidades básicas que los residentes demuestran en el encuentro con
el paciente. Los médicos de planta pueden implementarlo fácilmente como una forma de
evaluación de rutina, transparente, en cualquier ámbito. El EECR proporciona un panorama
general en 15-20 minutos de la interacción residente/paciente. Desarrollado sobre la base de
múltiples encuentros a lo largo del tiempo, este método ofrece una medición válida y confiable
del desempeño del residente. Se insta a los médicos de planta a realizar un EECR por
residente durante cada rotación.

Ámbitos para la Puesta en Marcha de Examinadores de EECR

EECR
Área de Internación. Áreas Criticas (UTI/UCO), Médicos de planta
Área ambulatoria, Área emergencia Médicos jefes de sección y/o servicio
Servicios de Consulta Externa o Internación

Formularios y Escala de Puntuación: Una vez completado el formulario, se debe entregar el

“original” al director del programa y la “copia” al residente. Se utiliza una escala de calificación
de nueve puntos, definiéndose a la puntuación 4 como “marginal”, con la cual se expresa la
posibilidad de que con un recuperatorio el residente alcanzará los niveles exigidos para obtener
la aprobación.

Descriptores de las competencias demostradas por el residente durante el EECR

Habilidades para la Conducción de la Entrevista Médica: Facilita la explicación al paciente

de su situación, usa eficazmente las preguntas y da instrucciones precisas y adecuadas para
obtener la información necesaria; responde apropiadamente a las señales afectivas, verbales y
no verbales.

Habilidades para la Conducción del Examen Físico: Sigue una secuencia efectiva y lógica;
equilibrio entre los pasos de detección / diagnóstico del problema; información al paciente;
sensibilidad al bienestar y pudor del paciente.

Cualidades Humanísticas / profesionalismo: Muestra respeto, consideración, empatía;

genera confianza; atiende las necesidades del paciente en cuanto a bienestar, pudor,
confidencialidad e innovación.

Criterio Clínico: Ordena, selecciona los estudios diagnóstico en forma apropiada, considera
los riesgos, beneficios.

Habilidades para el Asesoramiento del Paciente: Explica los fundamentos del

estudio/tratamiento, obtiene el consentimiento del paciente; instruye / aconseja con respecto a
la conducta a seguir.

Organización / eficiencia: Prioriza; es oportuno; sucinto.

Competencia Clínica Global: Demuestra criterio, síntesis, atención y cuidado, eficacia y

eficiencia.
 Anexo 2: Planilla de aplicación
Ejercicio de Examen Clínico Reducido (EECR)
Examinador: _________________________________________________________ Fecha:
_______________________

Residente: _________________________________________________________ { R-1 { R-2 {

R-3

Problema del Paciente / diagnóstico. :

____________________________________________________________________

Ámbito: { Ambulatorio { Internación Gral. { UTI {UC {Emergencia

Paciente: Edad: __________ Sexo: __________ {Primera Vez { Seguimiento

Complejidad: { Baja { Moderada { Alta

Énfasis: { Recopilación de Datos { Diagnóstico { Terapéutico { Asesoramiento

1. Habilidades para la Conducción de la Entrevista Médica ({ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

2. Habilidades para la Conducción del Examen Físico ({ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

3. Cualidades Humanísticas / profesionalismo ({ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

4. Criterio Clínico ({ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

5. Habilidades para el Asesoramiento del Paciente ({ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

6. Organización / eficiencia ({ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

7. Competencia Clínica Global como Especialista de Consulta ({ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

Tiempo de Desarrollo del EECR: Observación __________ min. Devolución: _______ min.

Satisfacción del examinador con el EECR

BAJA 1 2 3 4 5 6 7 8 9 ALTA

Satisfacción del Residente con el EECR

BAJA 1 2 3 4 5 6 7 8 9 ALTA

Comentarios:
_______________________________________________________________________________________

_______________________________________________________________________________________________

_______________________ _________________________
Firma del Residente Firma del Examinador