drcareers: CMA's career centre for physicians

Canadian Journal of Surgery -

How to assess communication, professionalism, collaboration and the other intrinsic CanMEDS roles in orthopedic residents: use of an objective structured clinical examination (OSCE)

How to assess communication, professionalism, collaboration and the other intrinsic CanMEDS roles in orthopedic residents: use of an objective structured clinical examination (OSCE)

Can J Surg 2014;57(4)230-36 | PDF

Tim Dwyer, MBBS*†; Susan Glover Takahashi, MA, PhD‡; Melissa Kennedy Hynes, MA‡; Jodi Herold, PhD§; David Wasserstein, MD§; Markku Nousiainen, MD, MSc, MEd¶; Peter Ferguson, MD†; Veronica Wadey, MD, MA**; M. Lucas Murnaghan, MD, MEd*††‡‡; Tim Leroux, MD§; John Semple, MD, MSc*; Brian Hodges, MD, Med, PhD§§; Darrell Ogilvie-Harris, MD, MSc*‡‡¶¶

From the *Women’s College Hospital, †Mt. Sinai Hospital, ‡Postgraduate Medicine Office, University of Toronto, §University of Toronto, ¶ Holland Orthopaedic and Arthritic Centre, **Sunnybrook Health Sciences Centre, ††University of Toronto Orthopaedics Sports Medicine, ‡‡The Hospital for Sick Children, §§ Toronto General Hospital, and ¶¶Toronto Western Hospital, Toronto, Ont.

Presented at the International Conference Surgical Education and Training (ICOSET) 2013, Canadian Orthopaedic Association 2013, Canadian Conference Medical Education 2013.

Abstract

Background: Assessing residents’ understanding and application of the 6 intrinsic CanMEDS roles (communicator, professional, manager, collaborator, health advocate, scholar) is challenging for postgraduate medical educators. We hypothesized that an objective structured clinical examination (OSCE) designed to assess multiple intrinsic CanMEDS roles would be sufficiently reliable and valid.

Methods: The OSCE comprised 6 10-minute stations, each testing 2 intrinsic roles using case-based scenarios (with or without the use of standardized patients). Residents were evaluated using 5-point scales and an overall performance rating at each station. Concurrent validity was sought by correlation with in-training evaluation reports (ITERs) from the last 12 months and an ordinal ranking created by program directors (PDs).

Results: Twenty-five residents from postgraduate years (PGY) 0, 3 and 5 participated. The interstation reliability for total test scores (percent) was 0.87, while reliability for each of the communicator, collaborator, manager and professional roles was greater than 0.8. Total test scores, individual station scores and individual CanMEDS role scores all showed a significant effect by PGY level. Analysis of the PD rankings of intrinsic roles demonstrated a high correlation with the OSCE role scores. A correlation was seen between ITER and OSCE for the communicator role, while the ITER medical expert and total scores highly correlated with the communicator, manager and professional OSCE scores.

Conclusion: An OSCE designed to assess the intrinsic CanMEDS roles was sufficiently valid and reliable for regular use in an orthopedic residency program.

Résumé

Contexte : Évaluer la compréhension et l’application des 6 rôles intrinsèques CanMEDS (communicateur, professionnel, gestionnaire, collaborateur, promoteur de la santé, érudit) chez les résidents pose un défi pour les responsables de la formation médicale postdoctorale. Nous avons émis l’hypothèse selon laquelle un examen clinique objectif structuré (ECOS) conçu pour évaluer plusieurs rôles CanMEDS intrinsèques serait suffisamment fiable et valide.

Méthodes : L’ECOS comportait 6 stations de 10 minutes, permettant chacune d’évaluer 2 rôles intrinsèques à l’aide de scénarios basés sur des cas (avec ou sans recours à des patients standardisés). Les résidents ont été notés au moyen d’échelles en 5 points et d’une évaluation globale de leur rendement à chacune des stations. La validité convergente a été vérifiée par corrélation avec les rapports d’évaluation en cours de formation (RÉF) des 12 mois précédents et un classement chiffré créé par les directeurs du programme (DP).

Résultats: Vingt-cinq résidents des années 0, 3 et 5 y ont participé. La fiabilité interstation pour les scores totaux aux tests (en pourcentage) a été de 0,87, tandis que la fiabilité pour chacun des rôles de communicateur, collaborateur, gestionnaire et professionnel, a été supérieure à 0,8. Les scores totaux aux tests, les scores aux stations individuelles et les scores pour les rôles CanMEDS individuels ont tous fait état d’un effet significatif selon le niveau des résidents. L’analyse des classements établis par les DP quant aux rôles intrinsèques a révélé une forte corrélation avec les scores au test ECOS pour les rôles. On a observé une corrélation entre les RÉF et l’ECOS pour le rôle de communicateur, tandis que les RÉF pour le rôle d’expert médical et les scores totaux ont été en forte corrélation avec les scores de l’ECOS pour les rôles de communicateur, de gestionnaire et de professionnel.

Conclusion : Un ECOS conçu pour évaluer les rôles CanMEDS intrinsèques s’est révélé suffisamment valide et fiable pour un usage régulier dans un programme de résidence en orthopédie.


Accepted for publication Oct. 29, 2013

Competing interests: None declared.

Contributors: T. Dwyer, P Ferguson, M.L. Murnaghan, B. Hodges and D. Ogilvie-Harris designed the study. T. Dwyer, D. Wasserstein, M. Nousiainen, P. Ferguson, V. Wadey, T. Leroux and D. Ogilvie- Harris acquired the data, which T. Dwyer, S. Glover-Takahashi, M. Hynes, J. Herold, J.L. Semple, B. Hodges and D. Ogilvie-Harris analyzed. T. Dwyer, S. Glover-Takahashi, M. Hynes, J. Herold, B. Hodges and D. Ogilvie-Harris wrote the article, which all authors reviewed and approved for publication.

DOI: 10.1503/cjs.018813

Correspondence to: T. Dwyer, Women’s College Hospital,,76 Grenville St., Toronto ON M5S 1B1; dwyer.orthopedics@gmail.com