eds EduSol EduSol 1729-8091 Universidad de Guantánamo 00059 00059 Artículo original Estudio diagnóstico de la evaluación del impacto de las especialidades médicas en la función docente 0000-0001-5864-910X Fernández-Domínguez Tania Milagros 1 * 0000-0002-8954-3452 Valiente-Sandó Pedro 2 0000-0003-4897-363X Días-Rojas Pedro Augusto 3 Hospital Universitario Clínico Quirúrgico Lucía Iñiguez Landín, Holguín, Cuba Hospital Universitario Clínico Quirúrgico Lucía Iñiguez Landín Holguín Cuba Universidad de Holguín, Cuba Universidad de Holguín Cuba Universidad de Ciencias Médicas de Holguín, Cuba Universidad de Ciencias Médicas de Holguín Cuba Autor por correspondencia: taniamila@infomed.sld.cu

No existen conflictos de intereses entre los autores

 03 12 2025 Sep-Dec 2025 25 e956 10 05 2025 18 06 2025 Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons RESUMEN

Se presenta la concepción y resultados de un estudio diagnóstico para determinar el estado actual de la evaluación del impacto de las especialidades médicas en la función docente de los egresados. La recogida y procesamiento de datos para producir la información esperada se efectuó mediante el análisis documental, entrevistas a académicos y expertos en evaluación, el análisis de contenido cualitativo, la triangulación, el análisis-síntesis, la inducción-deducción el Software UCINET y el programa Atlas.ti. Se hizo evidente que la evaluación del impacto de ese objeto es una práctica eventual, no sistemática e inorgánicamente incorporada al sistema de gestión de calidad.

 Palabras claves: Educación médica Especialidades médicas Estudio diagnóstico Evaluación de impacto Función docente Introducción

Las especialidades de posgrado en el sistema de salud cubano, orientadas por regulaciones específicas (MINSAP, 2004; MES, 2019), constituyen una fase de la formación de los profesionales del sector en la que estos desarrollan competencias especializadas en un área particular dentro de las ciencias de la salud, luego de concluidos sus estudios de pregrado. La clasificación de las que se desarrollan actualmente comprende ocho grupos de especialidades: a) básicas, b) clínicas, c) quirúrgicas, d) diagnósticas, e) de salud pública, f) biomédicas, g) estomatológicas y, h) no médicas. (MINSAP, 2000, p.1)

En el caso específicos de las especialidades médicas, los planes de estudio plantean como objetivo general, formar un especialista competente en capacidad de conocer, valorar y transformar el estado de salud de la población, con un enfoque científico del proceso salud-enfermedad y de su naturaleza bio-psico-social. Se pretende preparar un profesional con perfiles asistencial, investigativo, docente y administrativo que le permitan desempeñarse en su ubicación laboral y seguir desarrollándose. (MINSAP, 2024)

La preparación para desplegar la función docente constituye una dimensión de la educación médica reconocida en el contexto internacional y cubano. Sobre el particular, la Declaración de Edimburgo (1988), recomienda: “Capacitar a los docentes como educadores, y no solo expertos en contenido, recompensando la excelencia educativa tanto como la excelencia en investigación biomédica o en práctica clínica” (Doctutor, 2018). En esa misma dirección, Torres-Álvarez y Álvarez-Escobar (2021) alertan: “La sola vinculación del profesional de la salud a un hospital universitario no es suficiente para convertirlo en docente. Se requiere lograr complejas competencias para la profesionalización en la docencia en la formación médica” (p. 69). En consecuencia, las instituciones formadoras deben propiciar un ambiente educativo que incentive la innovación y la excelencia en docencia; e instaure como práctica la realización de “…evaluaciones periódicas para ver resultados y buscar la mejora continua de la educación médica”. (Nervi-Condori et al., 2020, p. 53)

Lo anterior supone la necesidad de instituir la evaluación de las especialidades médicas en la función docente de sus egresados, que puede entenderse como “…un proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa -valiosa, válida y fiable- orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora, tanto del programa como del personal implicado y, de modo indirecto, del cuerpo social en que se encuentra inmerso” (Pérez-Juste, 2000, p. 272). Asimismo, evaluar la función docente de los egresados de las especialidades médicas supone la evaluación de su impacto, que Rossi y Freeman (1993, como se citó en Tiana, 1999) incluyen como un tipo particular de evaluación de los programas educativos que se orienta hacia la valoración de su eficacia y la eficiencia.

Como parte una investigación doctoral asociada al problema “Insuficiencias en la evaluación del desempeño de los egresados en la función docente limitan el mejoramiento del proceso de formación en las especialidades médicas”, que tiene como objetivo “Desarrollar una concepción teórico-metodológica y un procedimiento para la gestión de la evaluación del impacto de las especialidades médicas en la función docente de los egresados”, se realizó un proceso de sistematización que incluyó el estudio de la formación para esa función en la educación médica. La indagación permitió apreciar un amplio desarrollo teórico que incluye propuestas y resultados de trascendencia relacionados con su contenido, los roles asociados, la formación para el ejercicio docente (García-Romero, 2017; Harden & Crosby, 2000; Sociedad Española de Educación Médica (SEDEM), 2023), así como con las exigencias, las competencias y la evaluación de su desempeño (Asociación Mexicana de Facultades y Escuelas de Medicina (AMFEM), 2012; Del Puerto Horta, et al., 2022; Espinoza et al., 2024; Pérez- Recio, 2023; Suárez- Conejero et al., 2023; Triviño et al, 2024).

Igualmente, se revisaron numerosos trabajos de autores clásicos y más recientes, cubanos y extranjeros, así como documentos normativos, que permitieron un acercamiento a categorías (objetivos, contenido, metodología, entre ellas) relativas a los principales conceptos asociados a la evaluación del impacto de programas formativos y de su aplicación en la educación médica (evaluación, evaluación educativa, impacto, evaluación de impacto, evaluación de impacto de programas formativos) y a propuestas que modelan su gestión, lo que permitió identificar tendencias y perspectivas presentes en su desarrollo teórico (Borges, 2014; Carrera-Morales, et al., 2022; Díaz-Leyva y Marrero-Fornaris, 2021; Díaz-Rojas, 2015; Kirkpatrick, 1996; Parra-Robledo y Ruiz-Bueno, 2020; Red de Instituciones de Formación Profesional, 2011; Scriven, 1967; Travieso y Bandera, 2020 y; Valiente y Zaldívar, 2008)

Desde los presupuestos teórico-metodológicos devenidos de la sistematización desarrollada se asume la evaluación del impacto de las especialidades médicas en la función docente de sus egresados como una acción retrospectiva, de relevancia para la gestión de su calidad, que tiene como objetivo estratégico su mejoramiento, a partir de decisiones basadas en la información caracterizadora y valorativa que esta produce. Su realización implica la aplicación de un enfoque metodológico no excluyente, que supone el empleo combinado de métodos cuantitativos y cualitativos, la más amplia diversidad posible en la selección de las fuentes de información y la determinación de criterios de evaluación como requisito sine que non para la calidad de los juicios valorativos emitidos.

En este artículo se presenta la concepción metodológica y los resultados de un estudio diagnóstico (enmarcado en la citada investigación doctoral) conducente a precisar, desde el punto de vista empírico, el estado actual de la evaluación del impacto de las especialidades médicas en la función docente de los egresados, que permitió confirmar la cientificidad del problema de investigación identificado.

En función del objetivo planteado, la variable general del diagnóstico (evaluación del impacto de las especialidades médicas en la función docente de los egresados) se operacionalizó en cinco indicadores: 1) Existencia de una metodología, estrategia, procedimiento u otro recurso para evaluar el impacto de la formación. Importancia que se reconoce a esta evaluación; 2) Indicadores que se consideran para evaluar el impacto de la formación en el desempeño de los egresados; 3) Indicadores específicos que se utilizan para obtener información sobre el impacto de la formación en la función docente de los egresados; 4) Fuentes, métodos e instrumentos que se emplean para la recogida de datos sobre el impacto de la formación, en general, y en la función docente y; 5) Uso de la información que produce la evaluación en la toma de decisiones dirigidas a la mejora del proceso formativo para la función docente.

La recogida de datos para producir información pertinente con los indicadores expuestos, se realizó a partir del análisis de documentos, que abarcó 35 informes presentados para la evaluación externa (con vistas a su acreditación) de 19 especialidades que se ofertan por universidades de ciencias médicas de nueve provincias del país (Ciudad de la Habana, Matanzas, Villa Clara, Sancti Spíritus, Ciego de Ávila, Camagüey, Holguín, Granma y Santiago de Cuba ), y de entrevistas efectuadas a 40 miembros de comités académicos de programas de especialidades médicas de las universidades de ciencias médicas de La Habana (2), Sancti Spíritus (2), Las Tunas (2), Santiago de Cuba (2), y Holguín (32) y a 40 expertos (pares evaluadores) de la Junta de Acreditación Nacional (JAN) con experiencia en la evaluación de especialidades médicas, procedentes de seis provincias: la Habana (3), Sancti Spíritus (1), Las Tunas (3), Granma (2), Santiago de Cuba (4) y Holguín (27). La muestra fue seleccionada intencionalmente por conveniencia (Battaglia (2008, como se citó en Hernández- Sampieri y Mendoza, 2018).

El procesamiento de datos en función de producir la información requerida se desarrolló a partir de la utilización de métodos teóricos (análisis-síntesis, inducción-deducción), así como del análisis de contenido cualitativo, la triangulación (de datos y fuentes) y procedimientos estadísticos soportados en las TIC como el Software UCINET y el programa Atlas.ti.

 Desarrollo

A partir de la triangulación de la información aportada desde el análisis de cada instrumento se obtuvo la caracterización sobre el estado de la evaluación del impacto de las especialidades médicas en la función docente de los egresados.

Indicador 1. Existencia de una metodología, estrategia, procedimiento u otro recurso para evaluar el impacto de la formación. Importancia que se reconoce a esta evaluación

La revisión documental y lo planteado por los miembros de los comités académicos y expertos evaluadores de la JAN entrevistados, permite afirmar que es una práctica común el empleo de recursos establecidos por los programas para evaluar de algún modo el impacto de la formación que ofrecen las especialidades médicas en el desempeño de los egresados.

Asimismo, desde estas fuentes se reconoce la importancia de evaluar el impacto de la formación lo que se confirma a partir del procesamiento de las respuestas ofrecidas por ambos grupos de entrevistados mediante el Atlas.ti (Figura 1).

Análisis Atlas.ti de la Entrevista a miembros de Comités Académicos de especialidades médicas Fuente: Elaboración propia

Al respecto, en 29 (82,9%) de los informes presentados para la evaluación externa con propósitos de acreditación por la JAN, se declara la existencia de algún recurso metodológico (metodologías en el 57,1 % de los casos) para tal fin.

De igual modo, 36 (90%) de los miembros de comités académicos de programas de especialidades médicas entrevistados aseveraron que en los informes que se presentan para la evaluación externa se declara la existencia de algún recurso metodológico para la evaluación del impacto de la especialidad en los egresados.

Los miembros de comités académicos entrevistados (30, para el 75%) ofrecieron argumentos sobre la importancia de este tipo de evaluación, entre los que se destaca la necesidad de constatar cómo se cumplen las expectativas relativas al rol del especialista. Los expertos evaluadores entrevistados afirmaron que el 100 % de los informes que han recibido presentan información sobre la existencia de algún recurso metodológico para la evaluación del impacto de la especialidad en los egresados; el 70 % aportó otros elementos y mencionó indicadores que se usan para tales fines.

Aun cuando parece ser una práctica establecida el empleo de recursos metodológicos para evaluar el impacto de la formación que se ofrece desde los programas de especialidades, se colige que esta práctica es eventual, no sistemática, y no está incorporada en la programación, el sistema de trabajo y el sistema de gestión de la calidad de los programas de las especialidades médicas.

Indicador 2. Indicadores que se consideran para evaluar el impacto de la formación en el desempeño de los egresados.

Los miembros de comités académicos de programas de especialidades médicas entrevistados plantearon 90 elementos que aluden a indicadores que se consideran para evaluar el impacto de la formación en los egresados, y los expertos evaluadores de la JAN mencionaron 97 elementos relacionados.

Categorías que agrupan los aspectos referidos por los miembros de comités académicos y expertos de la JAN entrevistados (Indicador 2)
Categorías Comité Académico Expertos JAN
Número Porciento Número Porciento
Adquisición y promoción a categorías docentes 1 1.1 6 6,2
Desempeño de la función administrativa 3 3.3 3 3,1
Desempeño de la función asistencial 9 10 (4º) 10 10,3 (4º)
Desempeño de la función docente 8 8.9 (5º) 13 13,4 (3º)
Desempeño de la función investigativa (incluye publicaciones, eventos y sociedades científicas) 16 17.8 (2º) 15 15,5 (2º)
Idoneidad 1 1.1
Impacto científico 5 5.6 4 4,1
Impacto del trabajo asistencial 1 1.1 4 4,1
Impacto del trabajo docente 1 1.1
Impacto económico 3 3.3
Impacto social 23 25.6 (1º) 25 25,8 (1º)
Impacto tecnológico 2 2.2
Incorporación a acciones para la formación continua (superación, formación) 14 15.6 (3º) 9 9,3 (5º)
Permanencia en la plaza para la que fue formado 2 2.2 7 7,2
Pertinencia de los trabajos de culminación de estudios 1 1.1 1 1,0
Total 90 100 97 100

Fuente: Elaboración propia

A partir del empleo del análisis de contenido cualitativo se definieron 15 categorías (indicadores generales) en las que se clasificaron dichos elementos (Tabla 1). En ambos segmentos de entrevistados las cinco categorías con mayor frecuencia son “Desempeño de la función asistencial”, “Desempeño de la función docente”, “Desempeño de la función investigativa”, “Impacto social” e “Incorporación a acciones para la formación continua”, que agrupan el 77.8% de los elementos enunciados por los miembros de comités académicos y el 74,2% de los planteados por los expertos evaluadores de la JAN. (Tabla 1)

Específicamente, la categoría “desempeño de la función docente” ocupó el quinto y el tercer lugar, respectivamente, con una frecuencia del 8,9% y 13.4% en el segmento de los miembros de los comités académicos y el de los expertos de la JAN entrevistados. En ambos casos la categoría quedó ubicada por debajo de la categoría “Desempeño de la función investigativa” y, desde el planteamiento de los miembros de los comités académicos, por debajo de la categoría “Desempeño de la función asistencial”. (Tabla 1)

De las restantes categorías establecidas que tienen mayor relación con la función docente la referida a la “Incorporación a acciones para la formación continua (superación, formación)” fue la tercera que agrupó la mayor cantidad de elementos planteados por los miembros de los comités académicos (13.4%), y la quinta, en el caso de los expertos de la JAN (8.9%).

Los datos obtenidos permiten apreciar, igualmente, que el 26,6% (24) de los elementos aportados por los miembros de los comités académicos se agrupan en las cuatro categorías (“Adquisición y promoción a categorías docentes”, “Desempeño de la función docente”, “Impacto del trabajo docente” e “Incorporación a acciones para la formación continua (superación, formación)”) que tienen mayor relación con la función docente. En el caso de los elementos aportados por los expertos evaluadores de la JAN, los 28 agrupados en esas categorías representan el 28.9%.Lo antes expuesto se confirmó con los hallazgos del análisis desarrollado con el Software UCINET. Al respecto, con el objetivo de detectar las variables que muestran mayor significación en la evaluación de impacto de las especialidades médicas en los egresados, se suministró al citado programa información contentiva de los elementos que sugieren indicadores empleados en ese proceso evaluativo, extraídos de 29 de los informes presentados a la evaluación externa por especialidades médicas, que se utilizaron como fuentes documentales de este diagnóstico.

Variables que aparecen asociadas a la evaluación de impacto en el egresado de las especialidades médicas. Fuente: Elaboración propia

Como se muestra en la figura 2, que representa la relación que existe entre las variables expuestas, son valoradas como altamente significativas: a) la permanencia del especialista en la plaza para la que fue formado, b) la participación en eventos, c) las publicaciones (en cualquier grupo), d) la superación (participar o impartir cursos de postgrado) y e) la satisfacción del egresado (con el claustro y escenario donde se formaron).

Las variables a) la permanencia del especialista en la plaza para la que fue formado, b) la participación en eventos, c) las publicaciones (en cualquier grupo), coinciden con dos de las categorías (indicadores generales) identificadas mediante el análisis de contenido cualitativo de las respuestas ofrecidas en las entrevistas por los miembros de comités académicos y expertos de la JAN, referidas al “desempeño de la función investigativa (incluye publicaciones, eventos y sociedades científicas”, la “permanencia del especialista en la plaza para la que fue formado” y a la “incorporación a acciones para la formación continua (superación, formación).”

Del análisis realizado, a partir de la triangulación de la información obtenida, se concluye que los principales indicadores que se consideran para evaluar el impacto de la formación de las especialidades médicas en el desempeño de los egresados se relacionan con su desempeño en la función investigativa y, en menor grado, los asociados a la función docente y su desempeño.

Indicador 3. Indicadores específicos que se utilizan para obtener información sobre el impacto de la formación en la función docente de los egresados.

Al indagar sobre indicadores específicos que se utilizan para obtener información sobre el impacto de la formación en la función docente de los egresados, los miembros de comités académicos entrevistados enunciaron 45 elementos que sugieren posibles indicadores y los expertos evaluadores de la JAN aportaron 13. Igualmente, a partir del empleo del análisis de contenido cualitativo, dichos elementos fueron agruparon en 8 categorías (indicadores generales) (Tabla 2).

Categorías que agrupan los aspectos referidos por los miembros de comités académicos y expertos de la JAN entrevistados (Indicador 3)
Categorías Comité Académico Expertos JAN
Número Porciento Número Porciento
Adquisición y promoción a categorías docentes 14 31.2 (1º) 6 26,1 (2º)
Conocimiento del modelo curricular del pregrado 2 4.4
Desempeño docente en la educación en el trabajo 11 24.5 (2º) 11 47,8 (1º)
Desempeño docente en otras formas de organización del PEA en la educación médica 7 15.6 (3º) 2 8,7
Desempeño en actividades de formación de posgrado 5 11.1 4 17,4 (3º)
Dominio de idiomas 2 4.4
Dominio de las TIC 2 4.4
Participación y desempeño en actividades extracurriculares 1 2.2
Otro 1 2.2
Total 45 100 23 100

Fuente: Elaboración propia

Ambos segmentos de entrevistados aludieron mayoritariamente a elementos que se agruparon en las categorías “Adquisición y promoción a categorías docentes” (31.2%, los miembros de comités académicos, y 26,1%, los expertos evaluadores de la JAN) y “Desempeño docente en la educación en el trabajo” (24.5%, los miembros de comités académicos, y 47,8%, los expertos evaluadores de la JAN). En tercer orden los miembros de comités académicos aportaron elementos alusivos al “Desempeño docente en otras formas de organización del PEA en la educación médica” (15.6%), y los expertos evaluadores de la JAN al “Desempeño en actividades de formación de posgrado” (17.4%). (Tabla 2).

Aun cuando los elementos asociados a la categoría “Adquisición y promoción a categorías docentes”, son de trascendencia para el mejor desempeño de la función docente, y deben ser considerados para evaluar el impacto de las especialidades médicas en esta función; resulta llamativo que se hayan aportado más elementos que se agrupan en esta categoría, que para las categorías “Desempeño docente en otras formas de organización del PEA en la educación médica” y “Desempeño en actividades de formación de posgrado”, que tienen mayor implicación para evaluar el impacto en dicha función.

Desde el análisis precedente se concluye que para la evaluación del impacto de las especialidades médicas en la función docente de los egresados se reconoce como dimensión de mayor trascendencia el “Desempeño docente en la educación en el trabajo”.

Indicador 4. Fuentes, métodos e instrumentos que se emplean para la recogida de datos sobre el impacto de la formación, en general, y en la función docente.

Los entrevistados (miembros de comités académicos [CA] y expertos evaluadores [EE] de la JAN) reconocen como principales fuentes personales de información para la evaluación de impacto de las especialidades médicas en la función docente de los egresados, en el orden en que aparecen a continuación, a los propios egresados (CA:8 y EE:10); empleadores (CA:6 y EE: 8); residentes (CA:6); profesores de los programas de especialidad (CA:3 y EE:4) y a la población, pacientes y familiares (CA:5 y EE:1) y; entre las no personales a las actividades (CA: 9), como los encuentros y reuniones con diversos actores y a las fuentes documentales (CA:6 y EE:3), como las contentivas de resultados de trabajo y las actas de los comités académicos.

Entre los métodos más empleados para la interacción con estas fuentes fueron destacados la entrevista (incluidas las de carácter grupal), la encuesta y la revisión documental.

El análisis realizado permite inferir que en la práctica limitada de la evaluación del impacto de las especialidades médicas en la función docente de los egresados se emplean fuentes, métodos e instrumentos pertinentes para la recogida de datos, aunque es notable la ausencia del uso de la observación, como método, para la obtención de datos sobre el desempeño en la citada función.

Indicador 5. Uso de la información que produce la evaluación en la toma de decisiones dirigidas a la mejora del proceso formativo para la función docente.

Durante el intercambio acerca del empleo que se da a la información que produce la evaluación en la toma de decisiones dirigidas a la mejora del proceso formativo para la función docente (pregunta 2), los miembros de los comités académicos y expertos evaluadores de la JAN entrevistados opinaron mayoritariamente (28 para el 70%, y 31, para el 77,5%, respectivamente) que la información que deviene de las acciones eventuales (no sistemáticas) que se desarrollan para evaluar el impacto de los programas de las especialidades médicas, es utilizada insuficientemente para mejorar la gestión de estos programas, desde procesos como el rediseño curricular, el trabajo metodológico, la investigación, el cronograma y la organización de su funcionamiento y la formación del claustro, entre otros.

 Conclusiones

El estudio diagnóstico relativo al estado actual de la evaluación del impacto de las especialidades médicas en la función docente de los egresados permitió encontrar nuevos argumentos que confirmaron la pertinencia de la investigación doctoral en curso y confieren cientificidad al problema de investigación identificado. En tal sentido:

La indagación empírica reveló que, aun cuando se reconoce la importancia de evaluar el impacto de las especialidades médicas como mecanismo para su mejora cualitativa, la práctica que se ha ido estableciendo al respecto es eventual, no sistemática, no está orgánicamente incorporada al sistema de gestión de su calidad y la información que deviene de ella es insuficientemente utilizada. De igual modo, se hizo evidente que la evaluación del impacto de las especialidades médicas en la función docente de los egresados se desarrolla en el marco de experiencias de carácter global y no constituye aun una práctica específica. En consecuencia, el diseño del contenido de la evaluación confiere menor prioridad a indicadores asociados a la función docente y su desempeño y el diseño metodológico no aprovecha las posibilidades de la observación del desempeño de los egresados.

 Referencias bibliográficas Asociación Mexicana de Facultades y Escuelas de Medicina (AMFEM). (2012). Perfil por competencias docentes del profesor de medicina... https://www.amfem.edu.mx/index.php/publicaciones/libros/12-competencias-profesor-medicina Asociación Mexicana de Facultades y Escuelas de Medicina (AMFEM) 2012 Perfil por competencias docentes del profesor de medicina.. https://www.amfem.edu.mx/index.php/publicaciones/libros/12-competencias-profesor-medicina Borges, O. L. (2014). Modelo de Evaluación de impacto del posgrado académico en los docentes de la Facultad de Ciencias Médicas “General Calixto García” (Tesis doctoral, Universidad de ciencias pedagógicas “Enrique José Varona”) Borges O. L. 2014 Modelo de Evaluación de impacto del posgrado académico en los docentes de la Facultad de Ciencias Médicas “General Calixto García” doctoral Universidad de ciencias pedagógicas “Enrique José Varona” Carrera, M. A., Mesa, N. y Padilla, Y. (2022). Metodología para evaluar el impacto de la educación de posgrado. Transformación, 18(1), 53-69. http://scielo.sld.cu/scielo.php?script= sci_arttext&pid=S2077-29552022000100053 &lng=es&tlng=pt Carrera M. A. Mesa N. Padilla Y. 2022 Metodología para evaluar el impacto de la educación de posgrado Transformación 18 1 53 69 http://scielo.sld.cu/scielo.php?script= sci_arttext&pid=S2077-29552022000100053 &lng=es&tlng=pt Del Puerto Horta, M., Soto Cantero, L. A., Álvarez Mesa, Y., Afonso de León, J.A., & Gallardo Sarmiento, A. (2022). Definición de la competencia didáctica del docente en la educación médica superior cubana. Educación Médica Superior, 36(4). http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412022000400010&lng=es&tlng=es . Del Puerto Horta M. Soto Cantero L. A. Álvarez Mesa Y. Afonso de León J.A. Gallardo Sarmiento A. 2022 Definición de la competencia didáctica del docente en la educación médica superior cubana Educación Médica Superior 36 4 http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412022000400010&lng=es&tlng=es Diaz-Contino, C. G., Gómez García, F., Culcay Delgado, J., & García Coello, A. (2024). Propuesta de un perfil de competencias profesionales para el docente universitario en el campo de las Ciencias de la Salud. Revista Española de Educación Médica, 5(2). https://doi.org/10.6018/edumed.600831 Diaz-Contino C. G. Gómez García F. Culcay Delgado J. García Coello A. 2024 Propuesta de un perfil de competencias profesionales para el docente universitario en el campo de las Ciencias de la Salud Revista Española de Educación Médica 5 2 https://doi.org/10.6018/edumed.600831 Díaz-Leyva, C. A., y Marrero, C. (2021). La evaluación del impacto de la capacitación: retos y beneficios para las organizaciones actuales. Universidad y Sociedad, 13(6), 28-38. http://scielo.sld.cu/pdf/rus/v13n6/2218-3620-rus-13-06-28.pdf Díaz-Leyva C. A. Marrero C. 2021 La evaluación del impacto de la capacitación: retos y beneficios para las organizaciones actuales Universidad y Sociedad 13 6 28 38 http://scielo.sld.cu/pdf/rus/v13n6/2218-3620-rus-13-06-28.pdf Díaz-Rojas, P. A. (2015) Evaluación de impacto de la Maestría en Educación Médica sobre sus egresados. (Tesis doctoral, Universidad de Ciencias Médicas de Holguín) Díaz-Rojas P. A. 2015 Evaluación de impacto de la Maestría en Educación Médica sobre sus egresados doctoral Universidad de Ciencias Médicas de Holguín Doctutor (2018) La Declaración de Edimburgo 30 años después: ¿Qué han hecho nuestras Instituciones Educativas? Blog. Boletín Doctutor de Educación Médica publicada octubre 6, 2018, actualizado enero 3, 2019. https://www.doctutor.es/2018/10/06/la-declaracion-de-edimburgo-30-anos-despues-que-han-hecho-nuestras-instituciones-educativas/ Doctutor 2018 La Declaración de Edimburgo 30 años después: ¿Qué han hecho nuestras Instituciones Educativas? Blog. Boletín Doctutor de Educación Médica publicada octubre 6, 2018, actualizado enero 3, 2019 https://www.doctutor.es/2018/10/06/la-declaracion-de-edimburgo-30-anos-despues-que-han-hecho-nuestras-instituciones-educativas/ Espinoza Barreiro, S. G., Sanmartín Matute, N. B., & Mendoza Espinoza, S. A. (2024). Competencias Específicas del Docente en Ciencias de la Salud: Revisión Sistemática. LATAM Revista Latinoamericana de Ciencias Sociales y Humanidades 5 (1), 2513 - 2527. https://doi.org/10.56712/latam.v5i1.1778 Espinoza Barreiro S. G. Sanmartín Matute N. B. Mendoza Espinoza S. A. 2024 Competencias Específicas del Docente en Ciencias de la Salud: Revisión Sistemática LATAM Revista Latinoamericana de Ciencias Sociales y Humanidades 5 1 2513 2527 https://doi.org/10.56712/latam.v5i1.1778 García-Romero, Y. (2017) Sistema de acciones para la preparación docente de los oftalmólogos que laboran en las consultas del municipio Holguín. (Tesis de maestría, Universidad de Ciencias Médicas de Holguín) García-Romero Y. 2017 Sistema de acciones para la preparación docente de los oftalmólogos que laboran en las consultas del municipio Holguín maestría Universidad de Ciencias Médicas de Holguín Harden, R. M. & Crosby, J. (2000). AMEE Guide No 20: The good teacher is more than a lecturer - the twelve roles of the teacher. Medical Teacher, 22(4), 334-347. https://www.tandfonline.com/doi/abs/10.1080/01421590040942 Harden R. M. Crosby J. 2000 AMEE Guide No 20: The good teacher is more than a lecturer - the twelve roles of the teacher Medical Teacher 22 4 334 347 https://www.tandfonline.com/doi/abs/10.1080/01421590040942 Hernández-Sampieri, R., & Mendoza, C. (2018). Metodología de la investigación. Las rutas cuantitativa, cualitativa y mixta, Ciudad de México, México: Editorial Mc Graw Hill Education, Año de edición: 2018, ISBN: 978-1-4562-6096-5, 714 p. https://virtual.cuautitlan.unam.mx/rudics/?p=2612 Hernández-Sampieri R. Mendoza C. 2018 Metodología de la investigación. Las rutas cuantitativa, cualitativa y mixta Ciudad de México, México Editorial Mc Graw Hill Education 978-1-4562-6096-5 714 714 https://virtual.cuautitlan.unam.mx/rudics/?p=2612 Kirkpatrick, D. L. (1996) Evaluating Training Programs: The Four Levels, San Francisco, CA: Berrett-Koehler Publishers. Kirkpatrick D. L. 1996 Evaluating Training Programs: The Four Levels San Francisco, CA Berrett-Koehler Publishers Ministerio de Educación Superior (2019a). Resolución No. 138/19. Modelo de formación continua de la educación superior cubana. En: Gaceta Oficial de la República de Cuba. 2019-774-O65. Edición Ordinaria. La Habana, 5 de septiembre de 2019. p.1434-1435 Ministerio de Educación Superior 2019 Resolución No. 138/19. Modelo de formación continua de la educación superior cubana Gaceta Oficial de la República de Cuba Edición Ordinaria 1434 1435 Ministerio de Salud Pública (2000). República de Cuba. Instrucción V.A.D.I No. 11/2000 (Regula la agrupación de las especialidades que se desarrollan en la SNS). Ministerio de Salud Pública 2000 República de Cuba. Instrucción V.A.D.I No. 11/2000 (Regula la agrupación de las especialidades que se desarrollan en la SNS) Ministerio de Salud Pública (2004) República de Cuba. Resolución ministerial No. 108 /2004. Reglamento del régimen de residencia en ciencias de la salud. Ministerio de Salud Pública 2004 República de Cuba. Resolución ministerial No. 108 /2004. Reglamento del régimen de residencia en ciencias de la salud Ministerio de Salud Pública (2024) República de Cuba. Programa de la especialidad de Oftalmología (material no publicado). Ministerio de Salud Pública 2024 República de Cuba. Programa de la especialidad de Oftalmología (material no publicado) Nervi-Condori, Ch., Cumpa-Chancafe, J., y Chirinos-Ríos, C. (2020). Competencias docentes en medicina. FEM: Revista de la Fundación Educación Médica, 23(1), https://dx.doi.org/10.33588/fem.231.1040 Nervi-Condori Ch. Cumpa-Chancafe J. Chirinos-Ríos C. 2020 Competencias docentes en medicina FEM: Revista de la Fundación Educación Médica 23 1 https://dx.doi.org/10.33588/fem.231.1040 Parra, R. y Ruiz, C. (2020). Evaluación de impacto de los programas formativos: aspectos fundamentales, modelos y perspectivas actuales. Revista Educación, 44(2). DOI: https://doi.org/10.15517/revedu.v44i2.40281 Parra R. Ruiz C. 2020 Evaluación de impacto de los programas formativos: aspectos fundamentales, modelos y perspectivas actuales Revista Educación 44 2 https://doi.org/10.15517/revedu.v44i2.40281 Pérez-Juste, R. (2000). La evaluación de programas educativos: conceptos básicos, planteamientos generales y problemática. Revista de Investigación Educativa, 18(2), 261-287. https://revistas.um.es/rie/article/view/121001 Pérez-Juste R. 2000 La evaluación de programas educativos: conceptos básicos, planteamientos generales y problemática Revista de Investigación Educativa 18 2 261 287 https://revistas.um.es/rie/article/view/121001 Pérez-Recio, Y. (2023) Evaluación de impacto de la especialidad de Oftalmología en sus egresados. (Tesis de maestría, Universidad de Ciencias Médicas de Holguín) Pérez-Recio Y. 2023 Evaluación de impacto de la especialidad de Oftalmología en sus egresados maestría Universidad de Ciencias Médicas de Holguín Red de Instituciones de Formación Profesional (2011). Guía para la evaluación de impacto de la formación. Montevideo: OIT/Cinterfor. https://www.oitcinterfor.org/sites/ default/files/ file_publicacion/guiaevaluacion_imp.pdf Red de Instituciones de Formación Profesional 2011 Guía para la evaluación de impacto de la formación. Montevideo OIT/Cinterfor https://www.oitcinterfor.org/sites/ default/files/ file_publicacion/guiaevaluacion_imp.pdf Scriven, M. (1967) The Methodology of Evaluation. In: Tyler, R., Gagné, R. and Scriven, M., Eds., Perspectives of Curriculum Evaluation (AERA Monograph Series on Curriculum Evaluation, No. 1), Rand McNally, Chicago. https://www.scirp.org/reference/referencespapers? referenceid=2867205 Scriven M. 1967 The Methodology of Evaluation Tyler R. Gagné R. Scriven M. Perspectives of Curriculum Evaluation (AERA Monograph Series on Curriculum Evaluation 1 Rand McNally Chicago https://www.scirp.org/reference/referencespapers? referenceid=2867205 Sociedad Española de Educación Médica (SEDEM) (2023). Los 12 roles del docente de Medicina Encuesta SEDEM Junio 2023. https://sedem.org/wp-content/uploads/2023/07/12-roles-del-docente.pdf Sociedad Española de Educación Médica (SEDEM) 2023 Los 12 roles del docente de Medicina Encuesta SEDEM Junio 2023 https://sedem.org/wp-content/uploads/2023/07/12-roles-del-docente.pdf Suárez Conejero, J.E.; Listovsky, G.; Magaña Valladares, L.; Duré, M.I.; García Gutiérrez, J.F.; van Olphen, M. (2023). Competencias esenciales para la docencia en salud pública: marco regional para las Américas. Rev Panam Salud Publica; 47. https://doi.org/10.26633/RPSP.2023.137 Suárez Conejero J.E. Listovsky G. Magaña Valladares L. Duré M.I. García Gutiérrez J.F. van Olphen M. 2023 Competencias esenciales para la docencia en salud pública: marco regional para las Américas Rev Panam Salud Publica 47 https://doi.org/10.26633/RPSP.2023.137 Tiana, A. (1999). La evaluación y la calidad: dos cuestiones sometidas a discusión. Ensaio: Avaliação e Políticas Públicas em Educação, 07(22), 25-46. http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0104-40361999000100003 &lng=pt&tlng= Tiana A. 1999 La evaluación y la calidad: dos cuestiones sometidas a discusión Ensaio: Avaliação e Políticas Públicas em Educação 07 22 25 46 http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0104-40361999000100003 &lng=pt&tlng= Torres, A., y Álvarez, M. del C. (2021). Exigencias al desempeño profesional docente en Medicina para un proceso formativo de calidad. Revista Iberoamericana De Investigación En Educación, 2(2), 67-76. https://riied.org/index.php/v1/article/view/21 Torres A. Álvarez M. del C. 2021 Exigencias al desempeño profesional docente en Medicina para un proceso formativo de calidad. Revista Iberoamericana De Investigación En Educación 2 2 67 76 https://riied.org/index.php/v1/article/view/21 Travieso, N., y Bandera, L. (2020). Concepción integradora para la evaluación de impacto de los procesos sustantivos en la universidad médica de Santiago de Cuba. MEDISAN, 24(6), 1308-1323. http://scielo.sld.cu/scielo.php?script=sciarttext&pid=S1029-30192020000601308&lng=es&tlng =es. Travieso N. Bandera L. 2020 Concepción integradora para la evaluación de impacto de los procesos sustantivos en la universidad médica de Santiago de Cuba MEDISAN 24 6 1308 1323 http://scielo.sld.cu/scielo.php?script=sciarttext&pid=S1029-30192020000601308&lng=es&tlng =es Triviño Plasencia, E. E., Andrade Mera, A. del R., Celeiro Carbonell, A. F., & Ortiz Aguilar, W. (2024). Estrategia educativa para gestionar la convivencia armónica en la Educación General Básica: enfoque desde el trabajo colaborativo. Maestro Y Sociedad, 21(4), 1671-1679. https://maestroysociedad.uo.edu.cu/index.php/MyS/article/view/6560 Triviño Plasencia E. E. Andrade Mera A. del R. Celeiro Carbonell A. F. Ortiz Aguilar W. 2024 Estrategia educativa para gestionar la convivencia armónica en la Educación General Básica: enfoque desde el trabajo colaborativo Maestro Y Sociedad 21 4 1671 1679 https://maestroysociedad.uo.edu.cu/index.php/MyS/article/view/6560 Valiente, S. P., Guerra, Z. M. (2008) Evaluación de Sistemas, Programas y Centros Educativos La Habana. IPLAC, 2008. (Material Básico y Guías de Estudio para el curso homónimo de la Maestría en Supervisión Educativa en formato digital) Valiente S. P. Guerra Z. M. 2008 Evaluación de Sistemas, Programas y Centros Educativos La Habana IPLAC Original article Diagnostic study of the evaluation of the impact of medical specialties on the teaching function 0000-0001-5864-910X Fernández-Domínguez Tania Milagros 1 * 0000-0002-8954-3452 Valiente-Sandó Pedro 2 0000-0003-4897-363X Días-Rojas Pedro Augusto 3 Hospital Universitario Clínico Quirúrgico Lucía Iñiguez Landín, Holguín, Cuba Universidad de Holguín, Cuba Universidad de Ciencias Médicas de Holguín, Cuba Author for correspondence: taniamila@infomed.sld.cu ABSTRACT

The conception and results of a diagnostic study are presented to determine the current status of the impact assessment of medical specialties on the teaching role of graduates. Data collection and processing to produce the desired information were carried out through documentary analysis, interviews with academics and assessment experts, qualitative content analysis, triangulation, analysis-synthesis, induction-deduction, UCINET software, and Atlas.ti. It became evident that the impact assessment of this subject is a temporary, unsystematic practice, and inorganically incorporated into the quality management system.

 Keywords: Medical education Medical specialties Diagnostic studies Impact assessment Teaching function Introduction​

Postgraduate specialties in the Cuban health system, guided by specific regulations (MINSAP, 2004; MES, 2019), constitute a phase of training for professionals in the sector in which they develop specialized skills in a particular area within the health sciences, after completing their undergraduate studies. The classification of those currently being developed comprises eight groups of specialties: a) basic, b) clinical, c) surgical, d) diagnostic, e) public health, f) biomedical, g) stomatological, and h) non-medical. (MINSAP, 2000, p.1)

In the specific case of medical specialties, the general objective of the study plans is to train competent specialists who are able to understand, assess, and transform the health status of the population, with a scientific approach to the health-disease process and its bio-psycho-social nature. The aim is to prepare professionals with healthcare, research, teaching, and administrative profiles that enable them to perform in their workplace and continue to develop. (MINSAP, 2024)

Preparation for teaching is a dimension of medical education that is recognized in both the international and Cuban contexts. In this regard, the Edinburgh Declaration (1988) recommends, “Training teachers as educators, not just experts in content, rewarding educational excellence as much as excellence in biomedical research or clinical practice” (Doctutor, 2018). In the same vein, Torres-Álvarez and Álvarez-Escobar (2021) warn: “Simply linking a health professional to a university hospital is not enough to turn them into a teacher. Complex skills are required for professionalization in teaching in medical training” (p. 69). Consequently, training institutions must foster an educational environment that encourages innovation and excellence in teaching and establish as a practice the conduct of “...periodic evaluations to see results and seek continuous improvement in medical education.” (Nervi-Condori et al., 2020, p. 53)

This implies the need to institute the evaluation of medical specialties in the teaching function of their graduates, which can be understood as "...a systematic, intentionally and technically designed process of collecting rigorous information-valuable, valid, and reliable-aimed at assessing the quality and achievements of a program, as a basis for subsequent decision-making for improvement, both the program and the personnel involved and, indirectly, the social body in which it is immersed" (Pérez-Juste, 2000, p. 272). Likewise, evaluating the teaching role of medical specialty graduates involves assessing their impact, which Rossi and Freeman (1993, as cited in Tiana, 1999) include as a particular type of evaluation of educational programs that is oriented toward assessing their effectiveness and efficiency.

As part of doctoral research associated with the problem “Inadequacies in the evaluation of graduates' performance in teaching limit the improvement of the training process in medical specialties,” which aims to “Develop a theoretical-methodological concept and a procedure for managing the evaluation of the impact of medical specialties on the teaching role of graduates,” a systematization process was carried out that included the study of training for this role in medical education. The investigation revealed a broad theoretical development that includes proposals and significant results related to its content, associated roles, training for teaching practice (García-Romero, 2017; Harden & Crosby, 2000; Spanish Society of Medical Education (SEDEM), 2023), as well as the requirements, competencies, and evaluation of their performance (Mexican Association of Medical Schools and Faculties (AMFEM), 2012; Del Puerto Horta, et al., 2022; Espinoza et al., 2024; Pérez-Recio, 2023; Suárez-Conejero et al., 2023; Triviño et al, 2024).

Similarly, numerous works by classic and more recent authors, both Cuban and foreign, were reviewed, as well as regulatory documents, which allowed for an approach to categories (objectives, content, methodology, among others) related to the main concepts associated with the evaluation of the impact of training programs and their application in medical education (evaluation, educational evaluation, impact, impact evaluation, impact evaluation of training programs) and proposals that shape its management, which made it possible to identify trends and perspectives present in its theoretical development (Borges, 2014; Carrera-Morales, et al., 2022; Díaz-Leyva and Marrero-Fornaris, 2021; Díaz-Rojas, 2015; Kirkpatrick, 1996; Parra-Robledo and Ruiz-Bueno, 2020; Network of Professional Training Institutions, 2011; Scriven, 1967; Travieso and Bandera, 2020; and Valiente and Zaldívar, 2008).

Based on the theoretical and methodological assumptions derived from the systematization developed, the evaluation of the impact of medical specialties on the teaching function of their graduates is assumed a retrospective action, relevant to quality management, whose strategic objective is improvement, based on decisions made using the characterizing and evaluative information it produces. Its implementation involves the application of a non-exclusive methodological approach, which involves the combined use of quantitative and qualitative methods, the widest possible diversity in the selection of information sources, and the determination of evaluation criteria as a sine qua non requirement for the quality of the evaluative judgments issued.

This article presents the methodological concept and the results of a diagnostic study (part of the aforementioned doctoral research) aimed at determining, from an empirical point of view, the current state of the evaluation of the impact of medical specialties on the teaching function of graduates, which confirmed the scientific nature of the research problem identified.

Depending on the objective set, the general variable of the diagnosis (evaluation of the impact of medical specialties on the teaching function of graduates) was operationalized into five indicators: 1) Existence of a methodology, strategy, procedure, or other resource to evaluate the impact of training. Importance given to this evaluation; 2) Indicators considered to evaluate the impact of training on graduate performance; 3) Specific indicators used to obtain information on the impact of training on the teaching role of graduates; 4) Sources, methods, and instruments used to collect data on the impact of training in general and on the teaching role; and 5) Use of the information produced by the evaluation in decision-making aimed at improving the training process for the teaching role.

Data collection to produce relevant information on the above indicators was based on document analysis, which covered 35 reports submitted for external evaluation (with a view to accreditation) of 19 specialties offered by medical science universities in nine provinces of the country (Havana, Matanzas, Villa Clara, Sancti Spíritus, Ciego de Ávila, Camagüey, Holguín, Granma, and Santiago de Cuba), and interviews with 40 members of academic committees of medical specialty programs at medical science universities in Havana (2), Sancti Spíritus (2), Las Tunas (2), Santiago de Cuba (2), and Holguín (32) and 40 experts (peer reviewers) from the National Accreditation Board (JAN) with experience in the evaluation of medical specialties, from six provinces: Havana (3), Sancti Spíritus (1), Las Tunas (3), Granma (2), Santiago de Cuba (4), and Holguín (27). The sample was intentionally selected for convenience (Battaglia (2008, as cited in Hernández-Sampieri and Mendoza, 2018).

Data processing to produce the required information was carried out using theoretical methods (analysis-synthesis, induction-deduction), as well as qualitative content analysis, triangulation (of data and sources) and ICT-supported statistical procedures such as UCINET software and the Atlas.ti program.

 Development

Based on the triangulation of information gathered from the analysis of each instrument, a characterization of the current state of evaluating the impact of medical specialties on the teaching performance of graduates was obtained.

Indicator 1. Existence of a methodology, strategy, procedure, or other resource to evaluate the impact of training. Recognized importance of this evaluation.

The document review and the statements made by members of the academic committees and expert evaluators from the JAN (National Board of Health) interviewed confirm that it is common practice to use resources established by the programs to evaluate, in some way, the impact of the training offered by medical specialties on the performance of graduates. Likewise, these sources acknowledge the importance of evaluating the impact of training, which is confirmed by processing the responses provided by both groups of interviewees using Atlas.ti (Figure 1).

Atlas.ti Analysis of Interviews with Members of Academic Committees in Medical Specialties Source: Author's own elaboration

In this regard, 29 (82.9%) of the reports submitted for external evaluation for accreditation purposes by the JAN declare the existence of some methodological resource (methodologies in 57.1% of cases) for this purpose.

Similarly, 36 (90%) of the members of academic committees of medical specialty programs interviewed stated that the reports submitted for external evaluation declare the existence of some methodological resource for evaluating the impact of the specialty on graduates.

The members of academic committees interviewed (30, or 75%) offered arguments about the importance of this type of evaluation, among which the need to verify how expectations regarding the role of the specialist are met stands out. The expert evaluators interviewed stated that 100% of the reports they have received present information on the existence of some methodological resource for evaluating the impact of the specialty on graduates; 70% provided other elements and mentioned indicators used for such purposes.

Although the use of methodological resources to evaluate the impact of the training offered by specialty programs appears to be an established practice, it can be inferred that this practice is occasional, not systematic, and is not incorporated into the programming, work system, and quality management system of medical specialty programs.

Indicator 2. Indicators considered when evaluating the impact of training on graduate performance.

The members of academic committees for medical specialty programs interviewed raised 90 elements that refer to indicators considered when evaluating the impact of training on graduates, and the JAN expert evaluators mentioned 97 related elements.

Categories grouping the aspects referred to by the members of academic committees and JAN experts interviewed (Indicator 2)
Categories Academic Committee JAN Experts
Number Percent Number Percent
Acquisition and promotion to teaching categories 1 1.1 6 6,2
Performance of administrative functions 3 3.3 3 3,1
Performance of clinical functions 9 10 (4º) 10 10,3 (4º)
Performance of teaching functions 8 8.9 (5º) 13 13,4 (3º)
Performance of research functions (includes publications, events, and scientific societies) 16 17.8 (2º) 15 15,5 (2º)
Suitability 1 1.1
Scientific impact 5 5.6 4 4,1
Impact of clinical work 1 1.1 4 4,1
Impact of teaching work 1 1.1
Economic impact 3 3.3
Social impact 23 25.6 (1º) 25 25,8 (1º)
Technological impact 2 2.2
Participation in continuing education activities (professional development, training) 14 15.6 (3º) 9 9,3 (5º)
Tenure in the position for which trained 2 2.2 7 7,2
Relevance of final projects 1 1.1 1 1,0
Total 90 100 97 100

Source: Own elaboration

Using qualitative content analysis, 15 categories (general indicators) were defined in which these elements were classified (Table 1). In both segments of interviewees, the five most frequent categories are “Performance of the care function,” “Performance of the teaching function,” “Performance of the research function,” “Social impact,” and “Incorporation into continuing education activities,” which account for 77.8% of the elements listed by academic committee members and 74.2% of those listed by JAN expert evaluators. (Table 1)

Specifically, the category “teaching performance” ranked fifth and third, respectively, with a frequency of 8.9% and 13.4% among academic committee members and JAN experts interviewed. In both cases, the category ranked below the category “Research performance” and, according to the academic committee members, below the category “Support performance.” (Table 1)

Of the remaining categories established that are most closely related to the teaching function, the category “Incorporation into continuing education activities (improvement, training)” was the third most frequently mentioned by members of academic committees (13.4%) and the fifth most frequently mentioned by JAN experts (8.9%).

The data obtained also show that 26.6% (24) of the elements contributed by the members of the academic committees are grouped into the four categories (“Acquisition and promotion to teaching categories,” “Teaching performance,” “Impact of teaching work,” and “Incorporation into continuing education activities (improvement, training)”) that are most closely related to the teaching function. In the case of the elements provided by the JAN expert evaluators, the 28 grouped into these categories represent 28.9%. The above was confirmed by the findings of the analysis carried out with the UCINET software. In this regard, with the aim of detecting the variables that show the greatest significance in the evaluation of the impact of medical specialties on graduates, the aforementioned program was provided with information containing the elements that suggest indicators used in that evaluation process, extracted from 29 of the reports submitted to the external evaluation by medical specialty, which were used as documentary sources for this diagnosis.

Variables associated with the impact assessment on medical specialty graduates. Source: Prepared by the authors.

As shown in the figure 2, which represents the relationship between the variables presented, the following are considered highly significant: a) the specialist's permanence in the position for which they were trained, b) participation in events, c) publications (in any group), d) further training (participating in or teaching postgraduate courses), and e) graduate satisfaction (with the faculty and setting where they were trained).

The variables a) the specialist's permanence in the position for which they were trained, b) participation in events, c) publications (in any group), coincide with two of the categories (general indicators) identified through qualitative content analysis of the responses provided in interviews by members of academic committees and JAN experts, referring to "performance of the research function (including publications, events, and scientific societies), the “specialist's permanence in the position for which they were trained,” and “participation in continuing education activities (improvement, training).”

From the analysis carried out, based on the triangulation of the information obtained, it is concluded that the main indicators considered to evaluate the impact of medical specialty training on the performance of graduates are related to their performance in the research function and, to a lesser extent, those associated with the teaching function and their performance.

Indicator 3. Specific indicators used to obtain information on the impact of training on the teaching role of graduates.

When asked about specific indicators used to obtain information on the impact of training on graduates' teaching performance, the academic committee members interviewed listed 45 elements that suggest possible indicators, and the JAN expert evaluators contributed 13. Similarly, using qualitative content analysis, these elements were grouped into eight categories (general indicators) (Table 2).

Categories grouping the aspects referred to by the members of academic committees and JAN experts interviewed (Indicator 3)
Categories Academic Committee JAN Experts
Number Percent Number Percent
Acquisition and promotion to teaching categories 14 31.2 (1º) 6 26,1 (2º)
Knowledge of the undergraduate curriculum model 2 4.4
Teaching performance in work-based learning 11 24.5 (2º) 11 47,8 (1º)
Teaching performance in other forms of teaching and learning organization in medical education 7 15.6 (3º) 2 8,7
Performance in postgraduate training activities 5 11.1 4 17,4 (3º)
Language proficiency 2 4.4
ICT proficiency 2 4.4
Participation and performance in extracurricular activities 1 2.2
Other 1 2.2
Total 45 100 23 100

Source: Own elaboration

Both segments of respondents mainly referred to elements that were grouped into the categories “Acquisition and promotion to teaching categories” (31.2% of academic committee members and 26.1% of JAN expert evaluators) and “Teaching performance in workplace education” (24.5% of academic committee members and 47.8% of JAN expert evaluators). Thirdly, academic committee members contributed elements related to “Teaching performance in other forms of PEA organization in medical education” (15.6%), and JAN expert evaluators contributed elements related to “Performance in postgraduate training activities” (17.4%). (Table 2).

Although the elements associated with the category “Acquisition and promotion to teaching categories” are important for better teaching performance and should be considered when evaluating the impact of medical specialties on this function, it is striking that more elements have been contributed to this category than to the categories “Teaching performance in other forms of PEA organization in medical education” and “Performance in postgraduate training activities,” which have greater implications for evaluating the impact on this function.

From the above analysis, it can be concluded that, for the evaluation of the impact of medical specialties on the teaching function of graduates, “Teaching performance in on-the-job education” is recognized as the most important dimension.

Indicator 4. Sources, methods, and instruments used to collect data on the impact of training in general and on teaching.

The interviewees (members of academic committees [AC] and expert evaluators [EE] from the JAN) recognize the following as the main personal sources of information for evaluating the impact of medical specialties on the teaching role of graduates, in the order in which they appear below: the graduates themselves (AC:8 and EE:10); employers (AC:6 and EE:8); residents (AC:6); professors in specialty programs (AC:3 and EE:4); and the general population, patients, and family members (AC:5 and EE:1). Among non-personal sources, they cited activities (AC: 9), such as meetings with various stakeholders, and documentary sources (AC: 6 and EE: 3), such as work results and academic committee minutes.

Among the most commonly, used methods for interacting with these sources were interviews (including group interviews), surveys, and document reviews.

The analysis carried out allows us to infer that in the limited practice of evaluating the impact of medical specialties on the teaching role of graduates, relevant sources, methods, and instruments are used for data collection, although the absence of observation as a method for obtaining data on performance in this role is notable.

Indicator 5. Use of information produced by the evaluation in decision-making aimed at improving the training process for the teaching profession.

During the exchange on the use of the information produced by the evaluation in decision-making aimed at improving the training process for teaching (question 2), the majority of the members of the academic committees and expert evaluators of the JAN interviewed (28 for 70%, and 31 for 77.5%, respectively) believed that the information derived from occasional (non-systematic) actions carried out to evaluate the impact of medical specialty programs is insufficiently used to improve the management of these programs, in processes such as curriculum redesign, methodological work, research, scheduling and organization of their operation, and faculty training, among others

 Conclusions

The diagnostic study on the current state of the assessment of the impact of medical specialties on the teaching role of graduates provided new arguments that confirmed the relevance of the ongoing doctoral research and lent scientific credibility to the identified research problem. In this regard:

The empirical investigation revealed that, although the importance of evaluating the impact of medical specialties as a mechanism for qualitative improvement is recognized, the practice that has been established in this regard is sporadic, unsystematic, not organically incorporated into the quality management system, and the information derived from it is insufficiently used. Similarly, it became clear that the evaluation of the impact of medical specialties on the teaching role of graduates is carried out within the framework of global experiences and does not yet constitute a specific practice. Consequently, the design of the evaluation content gives lower priority to indicators associated with the teaching role and its performance, and the methodological design does not take advantage of the possibilities of observing the performance of graduates.