Using a depth-sensing infrared camera system to access and manipulate medical imaging from within the sterile operating field

Using a depth-sensing infrared camera system to access and manipulate medical imaging from within the sterile operating field

Can J Surg 2013;56(3)E1-E6 | PDF

Matt Strickland, MD, BASc*; Jamie Tremaine, BASc‡; Greg Brigley, BASc‡; Calvin Law, MD, MPH†

From the *Division of General Surgery, Department of Surgery, University of Toronto, The Banting Institute; the †Division of General Surgery, Sunnybrook Health Sciences Centre and the University of Toronto, Toronto, Ont. ‡Independent researchers, Toronto, Ont.


Background: As surgical procedures become increasingly dependent on equipment and imaging, the need for sterile members of the surgical team to have unimpeded access to the nonsterile technology in their operating room (OR) is of growing import ance. To our knowledge, our team is the first to use an inexpensive infrared depthsensing camera (a component of the Microsoft Kinect) and software developed inhouse to give surgeons a touchless, gestural interface with which to navigate their picture archiving and communication systems intraoperatively.

Methods: The system was designed and developed with feedback from surgeons and OR personnel and with consideration of the principles of aseptic technique and gestural controls in mind. Simulation was used for basic validation before trialing in a pilot series of 6 hepatobiliary-pancreatic surgeries.

Results: The interface was used extensively in 2 laparoscopic and 4 open procedures. Surgeons primarily used the system for anatomic correlation, real-time comparison of intraoperative ultrasound with preoperative computed tomography and magnetic resonance imaging scans and for teaching residents and fellows.

Conclusion: The system worked well in a wide range of lighting conditions and procedures. It led to a perceived increase in the use of intraoperative image consultation. Further research should be focused on investigating the usefulness of touchless gestural interfaces in different types of surgical procedures and its effects on operative time.


Contexte : À mesure que les techniques chirurgicales dépendent de plus en plus des appareils et de l’imagerie, il devient plus important que des membres « stériles » de l’équipe chirurgicale aient libre accès à la technologie non stérile dans leur bloc opératoire. À notre connaissance, notre équipe est la première à utiliser une caméra infrarouge peu coûteuse dotée de capteurs de profondeur (une composante du Kinect de Microsoft) et un logiciel maison pour donner aux chirurgiens une interface gestuelle sans contact avec laquelle ils naviguent dans leurs systèmes d’archivage et de communication peropératoires.

Méthodes : Le système a été conçu et développé en collaboration avec des chirurgiens et du personnel du bloc opératoire et tient compte des principes de l’asepsie et des contrôles gestuels. La validation de base a reposé sur des exercices de simulation avant le lancement d’une série d’essais pilotes au cours de 6 interventions hépatobilio-pancréatiques.

Résultats : L’interface a beaucoup servi lors des 2 interventions laparoscopiques et des 4 interventions ouvertes. Les chirurgiens ont principalement utilisé le système pourétablir des corrélations anatomiques et des comparaisons en temps réel entre leséchographies peropératoires et les tomographies et imageries par résonnance magnétique préopératoires et pour faire de l’enseignement aux résidents et aux stagiaires en formation postdoctorale.

Conclusion : Le système a bien fonctionné dans des conditions de luminosité et lors d’interventions diverses. Il a donné lieu à plus grand recours perçu à la consultation des images peropératoires. Des recherches plus approfondies devraient porter sur l’utilité des interfaces gestuelles sans contact dans différents types de chirurgies et sur leurs effets sur la durée des interventions.

Accepted for publication July 10, 2012

Competing interests: M. Strickland, J. Tremaine and G. Brigley formed the company GestSure Technologies based on the technology first descrived in this article. None declared for C. Law.

Contributors: All authors contributed to study design and approved the article’s publication. M. Strickland, G. Brigley and C. Law acquired the data, which M. Strickland and C. Law analyzed. M. Strickland wrote the article, which J. Tremaine, G. Brigley and C. Law reviewed.

DOI: 10.1503/cjs.035311

Correspondence to: M. Strickland, Division of General Surgery, Department of Surgery, University of Toronto, The Banting Institute, 100 College St., Toronto ON M5G 1L5;