Value of an objective assessment tool in the operating room

Value of an objective assessment tool in the operating room

PDF

Ellen Hiemstra, MD*; Wendela Kolkman, MD, PhD*; Ron Wolterbeek, MSc†; Baptist Trimbos, MD, PhD*; Frank Willem Jansen, MD, PhD*‡

From the Departments of *Gynecology and †Medical Statistics and Bioinformation, Leiden University Medical Center, Leiden, and the ‡Department of BioMechanical Engineering, Faculty of Mechanical, Maritime and Materials Engineering, Delft University of Technology, Delft, the Netherlands

Abstract

Background: Concerns about the achievement of surgical proficiency during residency are increasing. To objectify surgical skills, the Objective Structured Assessment of Technical Skills (OSATS) was developed and proven valid, feasible and reliable for use in laboratory settings. This study aimed to evaluate the value of this tool for intraoperative use.

Methods: Residents were assessed with an OSATS after every procedure they performed as the primary surgeon during a 3-month clinical rotation in gynecological surgery. We mapped individual learning curves (OSATS scores plotted against experience) and established the average procedure-specific learning curve. We used linear mixed models to assess the relation between performance and experience.

Results: Nine residents were recruited and 319 OSATS analyzed. Individual learning curves revealed progression beyond 24 of 30 OSATS points for 7 residents. Performance on the average procedure improved with experience, and the OSATS score increased by an average of 1.10 points per assessed procedure (p = 0.008, 95%confidence interval 0.44–1.77). Median OSATS scores ranged from 18 to 30 among the 21 assessors.

Conclusion: Intraoperative implementation of OSATS seems to offer important advantages: structured feedback is facilitated, and learning curves enable insight into individual progression. However, doubts have been raised about the objectivity of the tool. Therefore, caution is warranted in using it for graduation and certification.

Résumé

Contexte : La maîtrise de la chirurgie acquise au cours de la résidence préoccupe de plus en plus. Pour rendre les techniques chirurgicales objectives, on a mis au point l’éva luation structurée objective des habiletés techniques (Objective Structured Assessment of Technical Skills; OSATS) et on en a démontré la viabilité, la faisabilité et la fiabilité pour utilisation en laboratoire. Cette étude vise à déterminer la valeur de cet outil au cours des interventions.

Méthodes : Les médecins résidents ont été soumis à une évaluation OSATS après chaque intervention qu’ils ont pratiquée comme chirurgien principal au cours d’un stage clinique de 3 mois en chirurgie gynécologique. Nous avons établi les courbes d’apprentissage individuelles (courbes des résultats OSATS en fonction de l’expérience), ainsi que la courbe d’apprentissage moyenne particulière à l’intervention. Nous avons utilisé des modèles mixtes linéaires pour évaluer le lien entre le rendement et l’expérience.

Résultats : Nous avons recruté 9 médecins résidents et analysé 319 évaluations OSATS. Les courbes d’apprentissage individuelles ont révélé un progrès supérieur à 24 points OSATS sur 30 chez 7 médecins résidents. L’exécution de l’intervention moyenne s’est améliorée avec l’expérience et le résultat de l’évaluation OSATS a augmenté en moyenne de 1,10 point par intervention évaluée (p = 0,008, intervalle de confiance à 95 %, 0,44–1,77). Les résultats médians de l’évaluation OSATS ont varié de 18 à 30 chez les 21 évaluateurs.

Conclusion : L’application de l’évaluation OSATS aux interventions semble offrir des avantages importants : les commentaires structurés sont facilités et les courbes d’apprentissage donnent une idée de l’évolution de chaque médecin. On a toutefois soulevé des doutes quant à l’objectivité de l’outil. La prudence s’impose donc dans l’uti lisation de celui-ci aux fins d’obtention du diplôme et du certificat.


Accepted for publication Mar. 31, 2010

Competing interests: None declared.

Acknowledgement: The authors thank all residents and consultants for their participation in the study.

Contributors: Dr. Hiemstra wrote the article. All authors helped with study design, acquired and analyzed the data, reviewed the article and approved its publication.

DOI: 10.1503/cjs.032909

Correspondence to: Dr. E. Hiemstra, Department of Gynecology, Leiden University Medical Center, P.O. Box 9600, K6-76, 2300 RC Leiden, The Netherlands E.Hiemstra@lumc.nl