Université de Montréal Objective and Structured Checklist for Assessment of Audiovisual Recordings of Surgeries/ techniques (UM-OSCAARS): a validation study

Université de Montréal Objective and Structured Checklist for Assessment of Audiovisual Recordings of Surgeries/ techniques (UM-OSCAARS): a validation study

Can J Surg 2021;64(2):E232-E239 | PDF

Ségolène Chagnon-Monarque, MD; Owen Woods, MD; Apostolos Christopoulos, MD, MSc; Eric Bissada, MD, DMD; Christian Ahmarani, MD; Tareck Ayad, MD

Abstract

Background: Use of videos of surgical and medical techniques for educational purposes has grown over the last years. To our knowledge, there is no validated tool to specifically assess the quality of these types of videos. Our goal was to create an evaluation tool and study its intrarater and interrater reliability and its acceptability. We named our tool UM-OSCAARS (Université de Montréal Objective and Structured Checklist for Assessment of Audiovisual Recordings of Surgeries/techniques).

Methods: UM-OSCAARS is a grid containing 10 criteria, each of which is graded on an ordinal Likert-type scale of 1 to 5 points. We tested the grid with the help of 4 voluntary otolaryngology – head and neck surgery specialists who individually viewed 10 preselected videos. The evaluators graded each criterion for each video. To evaluate intrarater reliability, the evaluation took place in 2 different phases separated by 4 weeks. Interrater reliability was assessed by comparing the 4 topranked videos of each evaluator.

Results: There was almost-perfect agreement among the evaluators regarding the 4 videos that received the highest scores from the evaluators, demonstrating that the tool has excellent interrater reliability. There was excellent test–retest correlation, demonstrating the tool’s intrarater reliability.

Conclusion: The UM-OSCAARS has proven to be reliable and acceptable to use, but its validity needs to be more thoroughly assessed. We hope this tool will lead to an improvement in the quality of technical videos used for educational purposes.

Résumé

Contexte : Au fil des ans, l’utilisation de vidéos pour l’enseignement de techniques chirurgicales et médicales s’est répandue. À notre connaissance, il n’existe aucun outil pour évaluer spécifiquement la qualité de ces types de vidéos. Notre objectif était de créer un outil d’évaluation et d’analyser sa fiabilité interévaluateurs et son acceptabilité. Notre outil a pour nom UM-OSCAARS (Université de Montréal Objective and Structured Checklist for Assessment of Audiovisual Recordings of Surgeries/Techniques).

Méthodes : L’outil UM-OSCAARS est une grille qui contient 10 critères; chacun est noté sur une échelle de type Likert de 1 à 5 points. Nous avons testé la grille avec l’aide de 4 volontaires, spécialistes en otorhinolaryngologie/chirurgie de la tête et du cou, qui ont visionné 10 vidéos présélectionnées. Les évaluateurs ont noté chacun des critères pour chaque vidéo. Afin de vérifier la fiabilité interévaluateurs, l’évaluation s’est déroulée en 2 phases, à 4 semaines d’intervalle. La fiabilité interévaluateurs a été mesurée en comparant les 4 vidéos les mieux cotées par chaque évaluateur.

Résultats : La concordance a été quasi parfaite entre les évaluateurs pour les 4 vidéos qu’ils ont les mieux cotées, ce qui montre que l’outil a une excellente fiabilité interévaluateurs. La corrélation test–retest a été excellente, ce qui démontre la fiabilité interévaluateurs de l’outil.

Conclusion : L’outil UM-OSCAARS et son utilisation se sont révélés fiables et acceptables, mais il faut évaluer davantage sa validité. Nous espérons que cet outil permettra d’améliorer la qualité des vidéos techniques destinées à l’enseignement.


Accepted May 12, 2020

Affiliations: From the Faculty of Medecine, Université de Montréal, Montréal, Que. (Chagnon-Monarque); the Department of Otolaryngology – Head and Neck Surgery, Hôpital Maisonneuve–Rosemont, Montréal, Que. (Woods, Bissada, Ahmarani); the Department of Otolaryngology – Head and Neck Surgery, Hôpital Sainte-Justine, Montréal, Que. (Woods, Ayad); the Department of Otolaryngology – Head and Neck Surgery, Centre hospitalier de l’Université de Montréal (CHUM), Montréal, Que. (Christopoulos, Bissada, Ahmarani, Ayad); and the Centre de recherche du Centre hospitalier de l’Université de Montréal (CRCHUM), Montréal, Que. (Christopoulos, Ayad).

Competing interests: None declared.

Contributors: S. Chagnon-Monarque, A. Christopoulos and T. Ayad conceived the study. S. Chagnon-Monarque, A. Christopoulos, E. Bissada and T. Ayad acquired the data, which S. Chagnon-Monarque, O. Woods, A. Christopoulos and C. Ahmarani analyzed. S. Chagnon-Monarque and T. Ayad wrote the article, which O. Woods, A. Christopoulos, E. Bissada, C. Ahmarani and T. Ayad critically revised. All authors agreed to be accountable for all aspects of the work.

Content licence: This is an Open Access article distributed in accordance with the terms of the Creative Commons Attribution (CC BY-NC-ND 4.0) licence, which permits use, distribution and reproduction in any medium, provided that the original publication is properly cited, the use is noncommercial (i.e., research or educational use), and no modifications or adaptations are made. See: https://creativecommons.org/licenses/by-nc-nd/4.0/

DOI: 10.1503/cjs.018418

Correspondence to: T. Ayad, Centre hospitalier de l’Université de Montréal, 1001 Sanguinet, Montréal QC H2W 1T8, tareck.ayad@umontreal.ca