Meta-analytic comparison of randomized and nonrandomized studies of breast cancer surgery

Meta-analytic comparison of randomized and nonrandomized studies of breast cancer surgery

Can J Surg 2012;55(3):155-162 | PDF | Appendix

Janet P. Edwards, BSc, MD, MPH*, Elizabeth J. Kelly, MSc*, Yongtao Lin, MLIS, BA, BEd†, Taryn Lenders, MLIS, BScN†, William A. Ghali MD, MPH‡§, Andrew J. Graham MD, MSc, MHSc*§

From the *Department of Surgery, University of Calgary, the †Health Information Network Calgary, the ‡Department of Medicine and Centre for Health Policy Studies, and §Community Health Sciences, University of Calgary, Calgary, Alta.

Abstract

Background: Randomized controlled trials (RCTs) are thought to provide the most accurate estimation of “true” treatment effect. The relative quality of effect estimates derived from nonrandomized studies (nRCTs) remains unclear, particularly in surgery, where the obstacles to performing high-quality RCTs are compounded. We performed a meta-analysis of effect estimates of RCTs comparing surgical procedures for breast cancer relative to those of corresponding nRCTs.

Methods: English-language RCTs of breast cancer treatment in human patients published from 2003 to 2008 were identified in MEDLINE, EMBASE and Cochrane databases. We identified nRCTs using the National Library of Medicine’s “related articles” function and reference lists. Two reviewers conducted all steps of study selection. We included studies comparing 2 surgical arms for the treatment of breast cancer. Information on treatment efficacy estimates, expressed as relative risk (RR) for outcomes of interest in both the RCTs and nRCTs was extracted.

Results: We identified 12 RCTs representing 10 topic/outcome combinations with comparable nRCTs. On visual inspection, 4 of 10 outcomes showed substantial differences in summary RR. The pooled RR estimates for RCTs versus nRCTs differed more than 2-fold in 2 of 10 outcomes and failed to demonstrate consistency of statistical differences in 3 of 10 cases. A statistically significant difference, as assessed by the z score, was not detected for any of the outcomes.

Conclusion: Randomized controlled trials comparing surgical procedures for breast cancer may demonstrate clinically relevant differences in effect estimates in 20%–40% of cases relative to those generated by nRCTs, depending on which metric is used.


Résumé

Contexte : On estime que les essais randomisés et contrôlés (ERC) offrent l’estimation la plus juste de l’effet « réel » des traitements. La qualité relative de l’estimation de l’effet dérivée des études non randomisées (EnRC) reste indéterminée, particulièrement en ce qui concerne la chirurgie, où les obstacles à la réalisation d’ERC optimaux sont nombreux. Nous avons procédé à une méta-analyse des estimations de l’effet dérivées d’ERC qui comparaient des interventions chirurgicales pour le cancer du sein, aux estimations dérivées d’EnRC assortis.

Méthodes : Nous avons relevé les ERC sur le traitement du cancer du sein chez l’humain publiés en langue anglaise entre 2003 et 2008 à partir des bases de données MEDLINE, EMBASE et Cochrane. Nous avons relevé les EnRC à l’aide des listes bibliographiques et de la fonction « articles connexes » de la National Library of Medicine. Deux examinateurs se sont chargés de toutes les étapes de la sélection desétudes. Nous avons inclus les études qui comparaient 2 groupes soumis à une chirurgie pour le traitement du cancer du sein. Nous avons extrait l’information sur les estimations de l’efficacité des traitements, exprimées sous forme de risque relatif (RR) de survenue des paramètres retenus, tant dans les ERC que dans les EnRC.

Résultats : Nous avons relevé 12 ERC représentant 10 associations thématiques/ paramétriques à des EnRC comparables. À l’examen visuel, 4 paramètres sur 10étaient substantiellement différents au plan des RR sommaires. Les estimations des RR regroupés provenant des ERC par rapport aux EnRC ont différé de plus du double pour 2 paramètres sur 10 et les différences statistiques ne se sont pas maintenues dans 3 cas sur 10. Selon le score z, les paramètres n’ont présenté aucune différence statistiquement significative. Conclusion : Les ERC qui comparent des interventions chirurgicales pour le cancer du sein peuvent révéler des différences cliniquement pertinentes pour ce qui est des estimations de l’effet dans 20 %–40 % des cas, par rapport aux estimations générées par les EnRC, la variation étant due aux échelles utilisées.


Accepted for publication Nov. 24, 2010

Acknowledgements: We thank Dr. Daphne Mew for her contribution as an expert reviewer of the list of breast cancer RCTs. W.A. Ghali is supported by a Canada Research Chair in Health Services Research and by a Senior Health Scholar Award from the Alberta Heritage Foundation for Medical Research.

Competing interests:As above for W.A. Ghali; none declared for all other authors.

Contributors: J.P. Edwards, W.A. Ghali and A.J. Graham designed the study. J.P. Edwards, E.J. Kelly and A.J. Graham extracted data, whereas Y. Lin and T. Lenders developed and executed the search strategies. J.P. Edwards, E.J. Kelly and W.A. Ghali analyzed the data. J.P. Edwards and A.J. Graham prepared the manuscript, which E.J. Kelly, Y. Lin, T. Lenders, W.A. Ghali and A.J. Graham reviewed. All authors approved the manuscript submitted for publication.

DOI: 10.1503/cjs.023410

Correspondence to: A.J. Graham Foothills Medical Centre, 1403–29th St. NW, Calgary AB, T2N 2T9; andrew.graham@albertahealthservices.ca