Development of a cumulative teaching score for tracking surgeon performance in undergraduate medical education

Development of a cumulative teaching score for tracking surgeon performance in undergraduate medical education

Can J Surg 2019;62(3):150-156 | PDF | Appendix

Christine C. Moon, AB, MSc; Sneha Raju, MD; George Christakis, MD, MSc

Abstract

Background: Surgeon educators are important in undergraduate medical education (UME). However, teaching activities are undervalued and under-recognized compared with research, resulting in poorer quantity and quality of surgeon teaching. The purpose of this study was to investigate teaching roles available to surgeons and the amount of effort involved.

Methods: A comprehensive review of all possible roles surgeons may take in UME at our institution was assembled. Delphi committee members were asked to evaluate each teaching role on the amount of effort needed per hour. Results were analyzed using descriptive statistics, and a Cronbach α of 0.60 or higher was the threshold to declare consensus.

Results: Twenty-five participants, including physicians, residents and medical students, completed the study. Consensus was reached on the amount of effort needed for each teaching role. These values were used to prototype a cumulative teaching score that can be used to qualitatively quantify surgeon teaching.

Conclusion: Surgeon teaching is important in UME, but not tracked and thus not valued. To improve the quantity and quality of surgeon teaching in UME, we need to track, reward and recognize surgeon teaching activities. The “effort score” we developed to objectively and transparently qualify teaching was able to determine the relative effort needed for each teaching activity in UME at the University of Toronto. Combining the effort score and time committed to each teaching activity will produce a cumulative teaching score for each instructor.

Résumé

Contexte : Les chirurgiens formateurs jouent un rôle important pendant les études de premier cycle en médecine. Toutefois, les tâches d’enseignement sont sousévaluées et elles ne sont pas suffisamment reconnues comparativement aux activités de recherche, et cela nuit quantitativement et qualitativement à l’enseignement en chirurgie. Cette étude avait pour but d’analyser les divers rôles assumés par les chirurgiens formateurs et l’effort requis.

Méthodes : Nous avons procédé à une revue complète de tous les rôles possibles assumés par les chirurgiens durant les études de premier cycle en médecine dans notre établissement. Les membres d’un comité Delphi ont été invités à évaluer chaque rôle de formateur au plan de l’effort requis par heure. Les résultats ont été analysés à l’aide de statistiques descriptives; et un coefficient α de Cronbach de 0,60 ou plus a servi de seuil consensuel.

Résultats : Vingt-cinq participants, dont des médecins, des résidents et des étudiants en médecine, ont participé à l’étude. Un consensus a été atteint pour ce qui est de l’effort requis pour chaque rôle de formateur. Ces valeurs ont servi à élaborer le prototype d’un score cumulatif propre à l’enseignement qui peut être utilisé pour quantifier qualitativement l’enseignement par les chirurgiens.

Conclusion : L’enseignement par les chirurgiens est important au premier cycle de la formation en médecine, mais ne fait l’objet ni d’un suivi ni d’une évaluation. Pour améliorer quantitativement et qualitativement l’enseignement en chirurgie au premier cycle, nous devons suivre, récompenser et reconnaître les diverses activités d’enseignement dans cette spécialité. L’« indice d’effort » que nous avons élaboré pour qualifier de manière objective et transparente l’enseignement a permis de déterminer l’effort relatif requis pour chaque activité d’enseignement au premier cycle à l’Université de Toronto. En combinant l’indice d’effort et le temps consacré à chaque activité d’enseignement, on obtient un score cumulatif d’enseignement pour chaque instructeur.


Presented at the Canadian Undergraduate Surgery Education Committee Conference, November 2015, and the Canadian Conference in Medical Education, April 2016.

Accepted Aug. 28, 2018

Affiliations: From the Department of Surgery, University of Toronto Faculty of Medicine, Toronto, Ont.

Competing interests: None declared.

Contributors: C. Moon and G. Christakis designed the study. C. Moon and S. Raju acquired and analyzed the data, which G. Christakis also analyzed. C. Moon and S. Raju wrote the article, which all authors reviewed and approved for publication.

DOI: 10.1503/cjs.009516

Correspondence to: G.T. Christakis, Department of Surgery, University of Toronto, Sunnybrook Health Science Centre, Suite H-406, Toronto ON M4N3M5,
george.christakis@sunnybrook.ca