Clinical Congress 2014: The Surgeon of the Future

Canadian Journal of Surgery -

Resident self-assessment of operative experience in primary total knee and total hip arthroplasty: Is it accurate?

Resident self-assessment of operative experience in primary total knee and total hip arthroplasty: Is it accurate?

Can J Surg 2012;55(4):S153-S157 | PDF

Tomce Trajkovski, MD, Christian Veillette, MSc, MD, David Backstein, MD, MEd, Veronica M.R. Wadey, MD, MA, Bill Kraemer, MD

From the Department of Surgery, University of Toronto, Toronto, Ont.

Abstract

Background: A prerequisite for a valuable surgical case log is the ability to perform an accurate self-assessment. Studies have shown mixed results when examining residents’ ability to self-assess on varying tasks. We sought to examine the correlation between residents’ self-assessment and staff surgeons’ evaluation of surgical involvement and competence in performing primary total knee (TKA) and hip arthroplasty (THA).

Methods: We used the intraclass correlation coefficient (ICC) to evaluate interobserver agreement between residents’ self-perception and staff surgeons’ assessment of involvement. An assessment of competency was performed using a categorical global scale and evaluated with the κ statistic. We piloted a structured surgical skills assessment form as an additional objective appraisal of resident involvement.

Results:We analyzed assessment data from 65 primary TKA and THA cases involving 17 residents and 17 staff surgeons (93% response rate). The ICC for resident involvement between residents and staff surgeons was 0.80 (95% confidence interval [CI] 0.69–0.88), which represents substantial agreement. The agreement between residents and staff surgeons about residents’ competency to perform the case had aκ value of 0.67 (95% CI 0.50–0.84). The ICC for resident, staff surgeon and thirdparty observer using the piloted skills assessment form was 0.82 (95% CI 0.75–0.88), which represents substantial agreement.

Conclusion: This study supports the ability of orthopedic residents to perform selfassessments of their degree of involvement and competency in primary TKA and THA. Staff surgeons’ assessment of resident involvement correlated highly with the surgical skills assessment form. Self-assessment is a valuable addition to the surgical case log.

Résumé

Contexte : Un préalable à la tenue d’un registre de cas chirurgicaux valable est la capacité de s’auto-évaluer correctement. Des études ont fait état de résultats mitigés quant à la capacité des résidents de s’auto-évaluer face à diverses tâches. Nous avons analysé la corrélation entre l’auto-évaluation des résidents et leur évaluation par des chirurgiens attachés à l’établissement pour ce qui est de la participation aux chirurgies et des compétences lors d’interventions pour prothèse totale primaire du genou (PTG) et de la hanche (PTH).

Méthodes : Nous avons utilisé un coefficient de corrélation intraclasse (CCI) pour évaluer la concordance inter-examinateurs entre la perception des résidents et l’évaluation de leur participation par les chirurgiens. Nous avons évalué les compétencesà l’aide d’une échelle nominale globale et à l’aide du test κ. Nous avons aussi administré un formulaire structuré d’évaluation des habiletés chirurgicales comme mesure objective additionnelle de la participation des résidents.

Résultats : Nous avons étudié les données d’évaluation relatives à 65 cas de PTG et de PTH primaires, auxquels 17 résidents et 17 chirurgiens ont participé (taux de réponse 93 %). Le CCI afférent à la participation des résidents entre ces derniers et les chirurgiens a été de 0,80 (intervalle de confiance [IC] à 95 % 0,69–0,88), ce qui représente une concordance substantielle. La concordance entre la compétence des résidents évaluée par ces derniers et par les chirurgiens pour ce qui est de la réalisation des interventions s’accompagnait d’une valeur κ de 0,67 (IC à 95 % 0,50–0,84). Le CCI pour les résidents, les chirurgiens et les tiers examinateurs à partir du formulaire d’évaluation des habiletés a été de 0,82 (IC à 95 % 0,75–0,88), ce qui représente une concordance substantielle.

Conclusion : Cette étude confirme la capacité des résidents en orthopédie d’autoévaluer leur degré de participation et leurs compétences lors d’interventions primaires pour PTG et PTH. L’évaluation de la participation des résidents par les chirurgiens a été en forte corrélation avec les résultats du formulaire d’évaluation des habiletés chirurgicales. L’auto-évaluation est un ajout valable au registre des cas chirurgicaux.


Presented at the 2010 Orthopaedic Surgery Research Day, University of Toronto, Toronto, Ont., Oct. 20, 2010, winning the Robin Sullivan Award for best research project.

Accepted for publication Oct. 3, 2011

Competing interests: None declared for T. Trajkovski, C. Veillette, V.M.R. Wadey and B. Kraemer. D. Backstein declares having been a paid educational consultant to Zimmer Canada and Stryker Canada.

Contributors: All authors designed the study, reviewed the article and approved its publication. T. Trajkovski, C. Veillette and V.M.R. Wadey acquired the data, which T. Trajkovski and B. Kraemer analyzed.

DOI: 10.1503/cjs.035510

Correspondence to: T. Trajkovski 736 Bay St., Ste. 810 Toronto, ON M5G 2M4 tom.trajkovski@utoronto.ca