Development of a certification examination for orthopedic sports medicine fellows

Development of a certification examination for orthopedic sports medicine fellows

Can J Surg 2020;63(2):E110-E117 | PDF

Tim Dwyer, MBBS, PhD; Jaskarndip Chahal, MD, MSc; Lucas Murnaghan, MD, MEd; John Theodoropoulos, MD, MSc; Jeffrey Cheung; Aidan McParland; Darrell Ogilvie-Harris, MD, MSc

Abstract

Background: The purpose of this study was to develop a multifaceted examination to assess the competence of fellows following completion of a sports medicine fellowship.

Methods: Orthopedic sports medicine fellows over 2 academic years were invited to participate in the study. Clinical skills were evaluated with objective structured clinical examinations, multiple-choice question examinations, an in-training evaluation report and a surgical logbook. Fellows’ performance of 3 technical procedures was assessed both intraoperatively and on cadavers: anterior cruciate ligament reconstruction (ACLR), arthroscopic rotator cuff repair (RCR) and arthroscopic shoulder Bankart repair. Technical procedural skills were assessed using previously validated task-specific checklists and the Arthroscopic Surgical Skill Evaluation Tool (ASSET) global rating scale.

Results: Over 2 years, 12 fellows were assessed. The Cronbach α for the technical assessments was greater than 0.8, and the interrater reliability for the cadaveric assessments was greater than 0.78, indicating satisfactory reliability. When assessed in the operating room, all fellows were determined to have achieved a minimal level of competence in the 3 surgical procedures, with the exception of 1 fellow who was not able achieve competence in ACLR. When their performance on cadaveric specimens was assessed, 2 of 12 (17%) fellows were not able to demonstrate a minimal level of competence in ACLR, 2 of 10 (20%) were not able to demonstrate a minimal level of competence for RCR and 3 of 10 (30%) were not able to demonstrate a minimal level of competence for Bankart repair.

Conclusion: There was a disparity between fellows’ performance in the operating room and their performance in the high-fidelity cadaveric setting, suggesting that technical performance in the operating room may not be the most appropriate measure for assessment of fellows’ competence.

Résumé

Contexte : Le but de cette étude était de concevoir un examen à plusieurs volets pour évaluer la compétence des moniteurs cliniques à la fin de leur formation en médecine sportive.

Méthodes : Après leur formation de 2 ans pour devenir orthopédistes en médecine sportive, les moniteurs cliniques ont été invités à participer à l’étude. Leurs habiletés cliniques ont été évaluées au moyen d’examens cliniques objectifs structurés, de questionnaires à choix multiple, d’un rapport d’évaluation en cours de formation et d’un journal de bord chirurgical. Leur habileté à réaliser 3 techniques chirurgicales différentes a été évaluée au bloc opératoire et sur des cadavres : reconstruction du ligament croisé antérieur (RLCA), réparation arthroscopique de la coiffe des rotateurs (RACR) et intervention de Bankart sous endoscopie pour l’épaule. Les habiletés techniques ont été évaluées au moyen de listes de vérification spécifiques aux tâches validées et au moyen de l’outil d’évaluation globale ASSET (Arthroscopic Surgical Skill Evaluation).

Résultats : Sur une période de 2 ans, 12 moniteurs ont été évalués. Le coefficient α de Cronbach pour les évaluations techniques a été supérieur à 0,8, et la fiabilité inter-examinateurs pour l’évaluation des interventions sur des cadavres a été supérieure à 0,78, soit une fiabilité jugée satisfaisante. Lors de l’évaluation au bloc opératoire, on a jugé que tous les moniteurs détenaient le niveau minimum de compétences pour exécuter les 3 techniques chirurgicales, à l’exception d’un seul qui n’a pas atteint le niveau de compétence pour la RLCA. À l’évaluation de leurs compétences pour les interventions sur des cadavres, 2 sur 12 (17 %) n’ont pas atteint le niveau minimum de compétence pour la RLCA, 2 sur 10 (20 %) pour la RACR et 3 sur 10 (30 %) pour l’intervention de Bankart.

Conclusion : On a noté une disparité dans la compétence des moniteurs entre le bloc opératoire et le contexte cadavérique haute fidélité, ce qui donne à penser que le rendement technique au bloc opératoire pourrait ne pas être le moyen le plus approprié d’évaluer la compétence des moniteurs cliniques.


Accepted July 11, 2019

Affiliations: From Mount Sinai Hospital, Toronto, Ont. (Dwyer, Theodoropoulos); Toronto Western Hospital, Toronto, Ont. (Chahal, Ogilvie-Harris); and Women’s College Hospital, Toronto, Ont. (Dwyer, Chahal, Murnaghan, Theodoropoulos, Cheung, McParland, Ogilvie-Harris).

Competing interests: None declared.

Contributors: T. Dwyer, J. Theodoropoulos and D. Ogilvie-Harris designed the study. T. Dwyer, J. Chahal, L. Murnaghan, J. Theodoropoulos, A. McParland and D. Ogilvie-Harris acquired the data, which T. Dwyer, J. Chahal, L. Murnaghan, J. Theodoropoulos, J. Cheung, A. McParland and D. Ogilvie-Harris analzyed. T. Dwyer, J. Theodoropoulos and D. Ogilvie-Harris wrote the article, which all authors reviewed and approved for publication.

DOI: 10.1503/cjs.015418

Correspondence to: T. Dwyer, Women’s College Hospital, 76 Grenville St, Toronto ON M5S 1B1, drtimdwyer@yahoo.com.au