Quantifying recall bias in surgical safety: a need for a modern approach to morbidity and mortality reviews

Quantifying recall bias in surgical safety: a need for a modern approach to morbidity and mortality reviews

Can J Surg 2019;62(1):39-43 | PDF | Appendix

Hamad Alsubaie, MD; Mitchell Goldenberg, MBBS; Teodor Grantcharov, MD

Abstract

Background: Despite recent investments into reducing errors and adverse events in health care, methods for quality improvement in surgery are outdated and ineffective. Most current efforts in this field are centred around morbidity and mortality conferences (MMCs), which have remained unchanged for over 100 years. The present study aimed to quantify the recall bias associated with details from surgical cases.

Methods: We gathered immediate postoperative questionnaires from 1 surgeon, 1 fellow and 11 trainees following 25 routine surgical cases. Information elicited included their perceived level of concentration, mental preparedness and assessment of whether the procedure deviated from its expected course, including any intraoperative adverse events. We readministered the questionnaire 7−9 days later to assess participants’ ability to recall important aspects of the procedure.

Results: After 1 week, members of the surgical team were universally inaccurate in their recollection of even major details from the operating room. Although most participants felt mentally prepared and perceived no issues with concentration during the case, all participants misclassified operations as having been performed with or without adverse events in almost every included case.

Conclusion: Our findings show that recall bias regarding surgical safety events is exceedingly common. This likely has a major impact on the integrity of data presented at MMCs.

Résumé

Contexte : Malgré les récents investissements visant à réduire les erreurs et les effets indésirables en santé, les méthodes d’amélioration de la qualité en chirurgie sont dépassées et inefficaces. Les efforts les plus récents dans ce domaine sont axés sur les conférences portant sur la morbidité et la mortalité (CMM), qui sont les mêmes depuis une centaine d’années. La présente étude souhaitait quantifier les biais de rappel relatifs aux détails des cas de chirurgie.

Méthodes : Nous avons recueilli les questionnaires postopératoires immédiats d’un chirurgien, d’un moniteur clinique et de 11 stagiaires après 25 chirurgies de routine. L’information recueillie incluait leur degré perçu de concentration, leur état de préparation mentale et leur évaluation du déroulement de l’intervention par rapport au plan prévu, y compris tout effet indésirable peropératoire. Nous avons réadministré le questionnaire 7 à 9 jours plus tard pour évaluer la capacité des participants à se rappeler les aspects importants des interventions.

Résultats : Après 1 semaine, les souvenirs des membres de l’équipe chirurgicale étaient tous imprécis en ce qui concerne même certains éléments majeurs des interventions. Même si la plupart des participants se sentaient mentalement prêts et qu’ils n’ont perçu aucun problème de concentration au cours des interventions, ils ont tous commis des erreurs de classification des opérations effectuées, avec ou sans effets indésirables, dans près de la totalité des cas inclus.

Conclusion : Nos observations montrent que les biais de rappel au sujet des enjeux de sécurité en cours d’intervention sont extrêmement fréquents. Cela exerce sûrement un impact de taille sur l’intégrité des données présentées lors des CMM.


Accepted Apr. 17, 2018; Published online Dec. 1, 2018

Affiliation: From the International Centre for Surgical Safety, St. Michael’s Hospital, Toronto, Ont. (Alsubaie, Goldenberg, Grantcharov).

Competing interests: None declared.

Contributors: H. Alsubaie and T. Grantcharov designed the study. H. Alsubaie acquired the data, which all authors analyzed. M. Goldenberg and T. Grantcharov wrote the article, which all authors reviewed and approved for publication.

DOI: 10.1503/cjs.017317

Correspondence to: M. Goldenberg, Rm 16-056CC, St. Michael’s Hospital, 30 Bond St, Toronto ON M5B 1W8, mitchg.11@gmail.com