Primeras experiencias sobre
evaluación a especialistas
| Entre los pasados 18 de marzo y 9
de abril se celebró la primera prueba oficial para evaluar la competencia de una
promoción de especialistas médicos. Les tocó a los médicos de familia, por ser su
período de residencia más breve. La prueba en sí, denominada ecoe, ha sido calificada
por examinados y examinadores de "innovadora", porque se aleja del tradicional
test y se compone de situaciones clínicas parecidas a las de la práctica diaria. Sin
embargo, a la espera de las conclusiones definitivas sobre la experiencia, el debate sobre
la forma de evaluar a los especialistas el próximo año no ha hecho más que empezar |
|
JAIME LÓPEZ
Finalmente, 366 candidatos de los 600 convocados realizaron
la prueba de Evaluación Clínica Objetiva y Estructurada (ECOE) de la especialidad
de Medicina de Familia y Comunitaria. La calificación otorgada a esta experiencia, la
primera que tiene lugar en España de forma oficial y con repercusiones para los
examinados, varía según las partes. Desde el punto de vista técnico, el coordinador de
la misma, Jaume Sellarés, no duda en calificarla de "excelente". "No se ha
producido ni un solo incidente en ninguna de las cuatro sedes". Mientras, la vocal de
residentes de médicos de familia, Pilar Valero, sólo le otorga un "apto",
teniendo en cuenta todo el conjunto de circunstancias que la han rodeado. Por su parte, el
presidente de la Comisión Nacional de la Especialidad de Medicina de Familia y
Comunitaria, Tomás Gómez Gascón, prefiere aguardar a que se haga pública la
evaluación definitiva de dicha prueba.
Tanto el presidente de la Comisión Nacional de
Especialidades Médicas, Alfonso Moreno, como la subdirectora general de Formación
Sanitaria, del Ministerio de Sanidad, Emilia Sánchez Chamorro, han calificado la prueba
de muy positiva. Sánchez Chamorro ha preferido no valorar en detalle la prueba de este
año, a la espera del análisis de la semFYC, y opina que habrá que evaluarla en
conjunto, cuando se disponga de los datos definitivos, entre todos los colectivos e
instituciones implicados. Moreno, por su parte, ha indicado que debería ampliarse el
número de especialidades que la llevaran a cabo.
Desarrollo de la prueba
La ECOE de este año se ha celebrado en cuatro sedes: Madrid
(18-19 de marzo), Sevilla (25-26 de marzo), Bilbao (1-2 de abril) y Barcelona (8-9 de
abril).
Su objetivo era reducir el número de residentes de
Familia que optaban a la calificación de "excelente". Por Ley, según una Orden
Ministerial de 1995, sólo un 20 por ciento de los especialistas de una promoción pueden
obtener esta calificación, (las otras calificaciones posibles, además del "no
apto", son "suficiente" y "destacado"). En la promoción
1995-1998 se superó este porcentaje, por lo que era necesaria una criba, para lo cual se
estableció la ECOE. Los que no la superen, rebajarán su calificación a
"destacado". Los resultados se conocerán en breve plazo.
El coste de la prueba, según consta en la convocatoria del
concurso para su organización, publicada en octubre de 1999, ha ascendido a 36 millones
de pesetas.
La ECOE es una prueba novedosa, que se aleja de las tipo
test, y pretende medir no sólo conocimientos sino también aptitudes. Está inspirada en
otra similar que se realiza en Canadá. De hecho, el coordinador de la ECOE, Jaume
Sellarés, de la Sociedad Catalana de Medicina Comunitaria y de Familia, que lleva
organizando un examen de este tipo desde hace cuatro años conjuntamente con el Instituto
de Estudios de la Salud de Cataluña, viajó a la Universidad de Laval, en Quebec para
observar cómo se desarrollaba.
La prueba de este año ha constado de 25 "estaciones" o
circunstancias clínicas. Cada una de ellas presenta una situación que el candidato debe
resolver en un tiempo de seis minutos, con un intervalo de dos minutos entre cada una de
ellas. En 12 de ellas participaban actores que interpretaban el papel de paciente. En una
de ellas, en la que se pedía al candidato que realizara un tacto rectal, un maniquí
sustituía al intérprete para que llevara a cabo dicha práctica.
Seis situaciones eran de las denominadas
"estación-silla", en las que al examinado se le proporcionaba material
fotográfico, historias clínicas, etc, y se le hacían preguntas muy breves sobre esa
información.
En dos estaciones, la consulta era por teléfono: una de
un médico rural que consultaba sobre una urgencia y otra de un paciente que pedía
consejo a su médico de cabecera. En ellas, el evaluador ejercía de actor.
Otra de las situaciones era la de sesión clínica entre
profesionales, y en otras, el candidato se enfrentaba a maniquíes para llevar a cabo
reanimaciones cardiopulmonares y sutura de una herida.
"Venturas y desventuras" de la
ECOE
Las situaciones que más han gustado a los candidatos, según
la encuesta que se les hacía al final de la prueba, eran las que incluían actores.
Algunos candidatos refirieron sentirse incómodos por la presencia del evaluador, ya que
no estaban acostumbrados a que alguien los observara mientras pasaban consulta, a pesar de
que los evaluadores habían sido especialmente entrenados para pasar lo más
desapercibidos posible.
En general, los que se han presentado han valorado
positivamente cómo estaba diseñado el examen, aunque algunos se quejaron de la falta de
tiempo, ya que la presión de los seis minutos les pareció excesiva.
Una de las críticas que se ha hecho a
esta prueba ha sido la falta de confidencialidad, ya que se realizó la misma prueba para
todos los participantes en las cuatro ciudades donde ésta se llevó a cabo. Un medio de
comunicación llegó, incluso, a publicar en qué consistían las 25 estaciones. Jaume
Sellarés discrepa de la opinión de que el conocer la prueba de antemano beneficie al
candidato. Según estudios realizados, en países con más experiencia en pruebas
similares, incluso perjudica, ya que el participante no sabe de qué le están evaluando.
Puede que se enfrente a un caso de diabetes pero lo que en realidad está midiendo el
evaluador es la relación médico-paciente. "Algunos evaluadores percibieron incluso
cómo algunos candidatos obtenían calificaciones inferiores a las que aparentemente
merecían porque se saltaron preguntas, previsiblemente por conocer de antemano el caso de
que se trataba". Sellarés recuerda que en Canadá donde lleva cerca de 14 años con
este tipo de evaluaciones, el contenido de la prueba de un año para otro varía en menos
de un 20 por ciento.
Entre las diversas anécdotas surgidas en torno a este
examen cabe mencionar la profesionalidad de la actriz que lloró en todas y cada una de
sus 366 interpretaciones de paciente: una llorera cada ocho minutos. O el evaluador
bilbaíno que, tras finalizar su labor, aseguró que en adelante cambiaría su forma de
pasar consulta, a raíz de lo aprendido como examinador. "Después del examen, los
actores solían comentar entre ellos a qué candidato acudirían en caso de encontrarse
enfermos".
Futuro incierto
Lo que no ha quedado claro al final de todo este proceso ha
sido el futuro de la ECOE. El Comité de Estudio del Consejo Nacional de Especialidades
Médicas está analizando en estos momentos una propuesta que han elevado al Consejo
Nacional de Especialidades Médicas los coordinadores de las unidades docentes de Medicina
de Familia, tras las Jornadas en que se reunieron el pasado 28-29 de marzo. El punto
discordante es, una vez más, el famoso "20 por ciento de excelentes". Este
año, se ha interpretado que ese 20 por ciento había que considerarlo a nivel global, de
toda España. Sin embargo, cabe la posibilidad de que se contemplara dicho porcentaje de
forma particular para cada unidad docente, como han propuesto los coordinadores. De forma
que si en una unidad docente se conserva ese porcentaje, los residentes con la
calificación excelente no tendrían que ratificar su nota. Probablemente, serían pocas
las unidades docentes en las que se sobrepasará ese 20 por ciento.
Ello parte de la filosofía de que la evaluación continua es una
mejor forma de evaluación que un examen final. Para ello, según el presidente de la
Comisión Nacional de Medicina de Familia y Comunitaria, Tomás Gómez Gascón, habría
que homogeneizar los criterios de evaluación de los tutores encargados de calificar en
las unidades docentes, y no se descarta la posibilidad de que la ECOE se realice en años
previos al final, como R1 y R2, en la especialidad de médico de familia, para que el
residente tome conciencia de sus aciertos y errores. La decisión del Comité de Estudio
se dará a conocer dentro de unos dos meses.
El estudio de esta propuesta, así como las conclusiones
finales de la ECOE de este año, actualmente en plena fase de estudio, ha obligado a la
Administración a que se publique una resolución para evitar que las unidades docentes
califiquen a todos sus residentes de "excelente", curándose en salud sobre la
decisión final, ya que se ignora cómo se evaluará a éstos el próximo año (si
mediante evaluación continua, mediante ECOE o una combinación de ambos).
La cuestión es que los MIR que finalizan la residencia
este año, tanto en Medicina de Familia como en otras especialidades, necesitan pedir el
título de especialista y, por tanto, conocer en breve si son aptos o no. Puesto que no se
sabe quién tendrá que realizar la ECOE el año que viene (sólo los
"excelentes", o todos los residentes, o ninguno, o sólo los
"excelentes" de unidades docentes donde se sobrepase el 20 por ciento), los
calificadores de las unidades docentes podrían tomar la determinación de calificar a
todos de "excelente". Por ello, esta resolución pide que se dé la
calificación únicamente del último año de residencia, de forma que se puedan pedir los
títulos, pero aplaza la calificación global de toda la residencia a una resolución
posterior que se publicará una vez se conozca quién realizará la prueba y cómo se
evaluará a los residentes el año que viene.
En cualquier caso, Jaume Sellarés opina que la ECOE ha
demostrado ser un buen instrumento de evaluación y, por tanto, sería positivo que
siguiera teniéndose en cuenta, independientemente de la decisión que se tome sobre su
peso en la evaluación.
Voces críticas
Pero también se han alzado voces críticas, especialmente
desde el punto de vista de los candidatos. El vocal de residentes catalanes de Medicina de
Familia, Antonio Sisó, ha elogiado el diseño de la prueba pero puntualiza que debería
ser para todos, y no sólo para los calificados de excelente. Además, Sisó critica la
forma en que se ha realizado la convocatoria de este año, "deprisa y
corriendo", sin conocer los objetivos. Sisó no está de acuerdo tampoco con limitar
al 20 por ciento el número de "excelentes", ya que es una cifra
"arbitraria". Por su parte, Gómez Gascón recuerda que se debatió mucho sobre
el cupo de excelentes que debería haber en cada promoción. "El 'excelente' es algo
excepcional. Equivale a la matrícula de honor, por lo que había que fijar un
límite". El tope del 20 por ciento está regulado en una Orden Ministerial que
establece la necesidad de una evaluación final de los residentes, Orden en la que se basa
la ECOE. El vicepresidente de la semFYC, José María Molero, a pesar de valorar muy
positivamente la prueba, lamenta la falta de coordinación percibida entre las unidades
docentes y el Ministerio, que no han dejado claro los criterios de evaluación, por lo que
en unas unidades ha resultado "excelente" el 100 por cien y en otras el 20 por
cien.
Por otro lado, Sisó vería también positivo que se
estableciera un "feed-back" con los que realizan el examen y se les informara de
lo que han hecho bien y de lo que deben corregir.
La vocal de residentes de semFYC, Pilar Valero, piensa que la
evaluación de los residentes debería estar regida por la evaluación continuada.
"No te lo puedes jugar todo en un solo día. Puede que estés nervioso o en
condiciones poco óptimas; muchos candidatos han tenido que desplazarse y, algunos han
pasado la noche viajando. No obstante, "si nos van a hacer una prueba, la ECOE es la
mejor posible, porque se asemeja a la práctica diaria". Por otra parte, Valero opina
que los criterios de valoración de los tutores no son homogéneos, "lo que da lugar
a subjetividades".
Tampoco está de acuerdo con el 20 por ciento: "no se
debería delimitar siempre y cuando los objetivos y los criterios de evaluación estén
bien establecidos".
Valero ha lamentado la falta de información
y de organización a la hora de comunicar las fechas y condiciones de la prueba a los
convocados. "Si no se los ha llamado con tiempo, se podía haber pospuesto. Por que
hubiera habido una promoción más sin calificación no hubiera pasado nada. Ha habido,
por ejemplo, compañeros de Canarias que no han podido asistir al no haber encontrado un
vuelo por la falta de tiempo con los que se les ha avisado".
| La Orden Ministerial de 22 de junio de 1995,
por la que se regulan las comisiones de docencia y los sistemas de evaluación de la
formación de médicos, farmacéuticos y profesionales hace referencia a la necesidad de
evaluar a todos los especialistas, no sólo a los de Medicina de Familia y Comunitaria. En
el caso de que se sobrepase el 20 por ciento de excelentes, se estipula que es preciso una
prueba del tipo de la ECOE. Los
médicos de familia han sido los primeros en someterse a esta prueba porque han
sobrepasado ese 20 por ciento y su período de residencia es más breve, al ser de tres
años. Pero este año finalizan su residencia las primeras especialidades de cuatro años
desde 1995, además de la segunda promoción pots-95 de medicina de familia.
De momento, cuatro Sociedades Cient;ificas: la Sociedad
Catalana de Medicina de Familia y Comunitaria, la Sociedad Catalano-Balear de Geriatría y
Gerontología, la Sociedad Catalana de Pediatría y la Sociedad Catalana de Medicina
Interna han experimentado, o se lo están planteando, la realización de este tipo de
pruebas.
Los pediatras catalanes se sometieron en diciembre del
año pasado a un examen en el Centro de Atención Primaria Maragall, de Barcelona,
también con actores y maniquíes, distanciándose del tipo test. En su caso fueron 40
estaciones. En el informe que se facilitó a los que lo realizaron se incluían no sólo
los porcentajes obtenidos sino también su perfil respecto al de los otros
aspirantes.
Algo parecido ha llevado a cabo la Sociedad Catalano-Balear
de Geriatría y Gerontología. Era también una prueba tipo ECOE, aunque se disponía de
10 minutos por consulta (y no seis minutos como en la realizada por la SEMFyC) y se
componía de 21 estaciones. Colaboró el Instituto de Estudios de la Salud de Cataluña
(IES), como en el resto de las pruebas de las Sociedades Catalanas, y la intención es
aplicar este examen como modelo estandarizado a partir del año que viene.
Por otra parte, la Sociedad Catalana de Medicina de Familia y
Comunitaria, que fue la primera en evaluar a sus especialistas mediante una prueba de la
competencia, mantiene este examen paralelo al nacional. También lo hace en colaboración
con el Instituto de Estudios de Salud de Cataluña.
Además, la Sociedad Andaluza de Medicina de Familia y
Comunitaria ha manifestado también su intención de examinar a sus médicos de esta
forma.
La manera de evaluar al médico depende, por otra parte, de
la especialidad: "no es lo mismo Medicina de Familia, con cerca de 1.800 residentes
cada año en toda España, que aquellas especialidades con 30 o menos", señala el
presidente de la Comisión Nacional de Medicina de Familia y Comunitaria, Tomás Gómez
Gascón. "En una unidad docente con sólo dos residentes es difícil guardar un 20
por ciento de 'excelentes'". |
