Evaluating the reliability of surgical assessment methods in an orthopedic residency program

Evaluating the reliability of surgical assessment methods in an orthopedic residency program

Can J Surg 2015;58(5):299-304 | PDF

Nicholas Smith, MD, MSc; John Harnett, MB BCh; Andrew Furey, MD, MSc

Abstract

Background: Orthopedic surgical education in Canada has seen major change in the last 15 years. Work hour restrictions and external influence have led to new approaches for surgical training. With a change toward competency-based educational models under the CanMEDS headings there is a need to ensure the validity of modern assessment methods. Our objective was to evaluate the reliability of a currently used surgical skill assessment tool within an orthopedic residency program, as measured by the Surgical Encounters Form.

Methods: A surgical assessment tool has previously been created at our institution that comprises 15 items spanning 4 of the CanMEDS competencies. Results were blinded to the primary investigator and coded by a third party. The assessments were collected, and we measured percent agreement using Cronbach’s α and Fleiss kappa.

Results: Over a 5-month period 11 staff members assessed 10 residents. Eighty-eight assessments were completed in total. Weighted percent agreement was 90.9%. Cronbach’s α averaged 0.865 for the medical expert role, 0.920 for technical skills, 0.934 for the communicator role, 1.00 for the collaborator role and 1.00 for the health advocate role. The mean Fleiss kappa score was 0.147 (95% confidence interval –0.071 to 0.364), demonstrating low interrater reliability.

Conclusion: Despite the development of a validated assessment tool to evaluate surgical skills acquisition, interrater reliability results suggest low levels of agreement among assessors.

Résumé

Contexte : L’enseignement de la chirurgie orthopédique au Canada a beaucoup évolué ces 15 dernières années. La diminution des heures de travail et les influences extérieures sont à l’origine des nouvelles approches pour la formation en chirurgie. Avec l’avènement des modèles de formation fondés sur les compétences et les rôles CanMEDS, il faut s’assurer de la validité des méthodes d’évaluation modernes. Notre objectif était d’évaluer la fiabilité d’un outil de vérification des habiletés chirurgicales actuellement utilisé par un programme de résidence en orthopédie, au moyen du Formulaire de rencontres chirurgicales.

Méthodes : Un outil d’évaluation chirurgicale existe déjà dans notre établissement et comporte 15 éléments qui se rattachent à 4 des rôles CanMEDS. Sur une période de 5 mois, 11 membres du personnel ont évalué 10 résidents. Les résultats étaient à l’insu de l’investigateur principal et encodés par une tierce partie. Les évaluations ont été colligées et nous avons mesuré le pourcentage de concordance à l’aide du coefficient α de Cronbach et du score kappa de Fleiss.

Résultats : Quatre-vingt-huit évaluations ont été effectuées au total. Le pourcentage de concordance pondéré a été de 90,9 %. Le coefficient α de Cronbach a été en moyenne de 0,865 pour le rôle d’expert médical, de 0,920 pour les habiletés techniques, de 0,934 pour le rôle de communicateur, de 1,00 pour le rôle de collaborateur et de 1,00 pour le rôle de promoteur de la santé. Le score kappa de Fleiss moyen a été de 0,147 (intervalle de confiance de 95 % –0,071 à 0,364), témoignant d’une faible fiabilité inter-évaluateurs.

Conclusion : Malgré la mise au point d’un outil d’évaluation validé pour mesurer l’acquisition des habiletés en chirurgie, les résultats au plan de la fiabilité inter-évaluateurs indiquent un faible degré de concordance entre les examinateurs.


Accepted for publication Apr. 7, 2015

Affiliations: From the Department of Surgery (Smith), the Faculty of Medicine, Health Sciences Centre, (Harnett) and the Department of Orthopaedic Traumatology (Furey), Memorial University of Newfoundland, St. John’s, NL.

Competing interests: None declared.

Contributors: N. Smith and A. Furey designed the study. N. Smith acquired the data, which all authors analyzed. N. Smith wrote the article, which all authors reviewed and approved for publication.

DOI: 10.1503/cjs.010614

Correspondence to: N. Smith, Health Sciences Centre, Department of Orthopaedics,
Memorial University of Newfoundland, 300 Prince Philip Dr., St John’s, NL, A1B 3V6; nicksmith@munmed.ca