The historic predictive value of Canadian orthopedic surgery residents’ orthopedic in-training examination scores on their success on the RCPSC certification examination

The historic predictive value of Canadian orthopedic surgery residents’ orthopedic in-training examination scores on their success on the RCPSC certification examination

Can J Surg 2014;57(4)260-62 | PDF

David Yen, MD*; George S. Athwal, MD†; Gary Cole, PhD‡

From the *Department of Surgery, Queen’s University, Kingston, Ont., †Department of Surgery, University of Western Ontario, London, Ont., ‡Royal College of Physicians and Surgeons of Canada Office of Education, Ottawa, Ont.

Abstract

Background: Positive correlation between the orthopedic in-training examination (OITE) and success in the American Board of Orthopaedic Surgery examination has been reported. Canadian training programs in internal medicine, anesthesiology and urology have found a positive correlation between in-training examination scores and performance on the Royal College of Physicians and Surgeons of Canada (RCPSC) certification examination. We sought to determine the potential predictive value of the OITE scores of Canadian orthopedic surgery residents on their success on their RCPSC examinations.

Methods: A total of 118 Canadian orthopedic surgery residents had their annual OITE scores during their 5 years of training matched to the RCPSC examination oral and multiple-choice questions and to overall examination pass/fail scores. We calculated Pearson correlations between the in-training examination for each postgraduate year and the certification oral and multiple-choice questions and pass/fail marks.

Results: There was a predictive association between the OITE and success on the RCPSC examination. The association was strongest between the OITE and the written multiple-choice examination and weakest between the OITE and the overall examination pass/fail marks.

Conclusion: Overall, the OITE was able to provide useful feedback to Canadian orthopedic surgery residents and their training programs in preparing them for their RCPSC examinations. However, when these data were collected, truly normative data based on a Canadian sample were not available. Further study is warranted based on a more refined analysis of the OITE, which is now being produced and includes normative percentile data based on Canadian residents.

Résumé

Contexte : On a signalé une corrélation positive entre l’examen intermédiaire en orthopédie (EIO) et la réussite aux examens de l’American Board of Orthopaedic Surgery. Les programmes canadiens de formation en médecine interne, en anesthésiologie et en urologie ont constaté une corrélation positive entre les notes aux EIO et les résultats aux examens du Collège royal des médecins et chirurgiens du Canada (CRMCC). Nous avons cherché à déterminer la valeur prédictive potentielle des notes des résidents en chirurgie orthopédique à l’EIO pour ce qui est de leur réussite aux examens du CRMCC.

Méthodes : Les notes de 118 résidents en chirurgie orthopédique du Canada aux EIO pendant leurs 5 années de formation ont été comparées à leurs résultats aux examens oraux et à choix multiples, ainsi qu’à leur note globale de passage ou d’échec. Nous avons calculé les corrélations de Pearson entre les résultats à l’EIO pour chaque année de formation et les notes aux examens de certification oraux et à choix multiples, et les notes de passage ou d’échec.

Résultats : Il y avait un rapport prédictif entre le résultat à l’EIO et la réussite de l’examen du CRMCC. Le rapport était le plus étroit entre les résultats à l’EIO et les résultats à l’examen écrit à choix multiples, et il était le plus faible entre les résultats à l’EIO et les notes globales de passage ou d’échec.

Conclusion : Dans l’ensemble, l’EIO a produit une rétroaction utile pour les résidents en chirurgie orthopédique et leurs programmes de formation pour les préparer aux examens du CRMCC. Toutefois, lorsque ces données ont été recueillies, de véritables données normatives fondées sur un échantillon canadien n’étaient pas disponibles. Une étude plus poussée s’impose à partir d’une analyse plus approfondie de l’EIO; cette analyse est en voie de réalisation et comprend des données normatives percentiles sur les résidents canadiens.


Accepted for publication Feb. 5, 2014

Competing interests: None declared.

Contributors: D. Yen and G. Athwal designed the study. D. Yen and G. Cole acquired the data, which G. Cole analyzed. D. Yen wrote the article, which G. thwal and G. Cole reviewed. All authors approved the paper for publication.

DOI: 10.1503/cjs.014913

Correspondence to: D. Yen, Douglas 5, Kingston General Hospital, 76 Stuart St.
Kingston ON K7L 2V7; yend@kgh.kari.net