Are outcomes reported in surgical randomized trials patient-important? A systematic review and meta-analysis

Are outcomes reported in surgical randomized trials patient-important? A systematic review and meta-analysis

Can J Surg 2017;60(2):86-93 | PDF | Appendix

Sam Adie, MBBS, MSpMed, MPH, PhD; Ian A. Harris, MBBS, MMed, PhD; Justine M. Naylor, PhD; Rajat Mittal, BSc(Med), MBBS, MMed(Clin Epi) MS


Background: The dangers of using surrogate outcomes are well documented. They may have little or no association with their patient-important correlates, leading to the approval and use of interventions that lack efficacy. We sought to assess whether primary outcomes in surgical randomized controlled trials (RCTs) are more likely to be patientimportant outcomes than surrogate or laboratory-based outcomes.

Methods: We reviewed RCTs assessing an operative intervention published in 2008 and 2009 and indexed in MEDLINE, EMBASE or the Cochrane Central Register of Controlled Trials. After a pilot of the selection criteria, 1 reviewer selected trials and another reviewer checked the selection. We extracted information on outcome characteristics (patient-important, surrogate, or laboratory-based outcome) and whether they were primary or secondary outcomes. We calculated odds ratios (OR) and pooled in random-effects meta-analysis to obtain an overall estimate of the association between patient importance and primary outcome specification.

Results: In 350 included RCTs, a total of 8258 outcomes were reported (median 18 per trial. The mean proportion (per trial) of patient-important outcomes was 60%, and 66% of trials specified a patient-important primary outcome. The most commonly reported patientimportant primary outcomes were morbid events (41%), intervention outcomes (11%), function (11%) and pain (9%). Surrogate and laboratory-based primary outcomes were reported in 33% and 8% of trials, respectively. Patient-important outcomes were not associated with primary outcome status (OR 0.82, 95% confidence interval 0.63–1.1, I2= 21%).

Conclusion: A substantial proportion of surgical RCTs specify primary outcomes that are not patient-important. Authors, journals and trial funders should insist that patientimportant outcomes are the focus of study.


Contexte : Les dangers de l’utilisation de critères de substitution sont bien documentés. Ils peuvent avoir peu de liens, voire aucun, avec leurs corrélats importants pour le patient, menant à l’approbation et à l’utilisation d’interventions inefficaces. Nous avons tenté de déterminer si les résultats primaires d’essais cliniques randomisés en chirurgie sont plus susceptibles d’être des résultats importants pour le patient que des critères de substitution ou des résultats de laboratoire.

Méthodes : Nous avons examiné des essais cliniques randomisés portant sur l’évaluation d’une intervention chirurgicale, publiés en 2008 et 2009 et répertoriés dans MEDLINE, EMBASE ou le Cochrane Central Register of Controlled Trials. Après l’essai du critère de sélection, un examinateur a choisi les essais et un autre examinateur a vérifié la sélection. Nous avons obtenu les renseignements sur les caractéristiques des résultats (importants pour le patient, de substitution ou de laboratoire) et déterminé s’il s’agissait de résultats primaires ou secondaires. Nous avons calculé le rapport des cotes (RC) et regroupé une méta-analyse à effets aléatoires afin d’obtenir une estimation globale du lien entre l’importance pour le patient et la spécification du résultat primaire.

Résultats : Un total de 8258 résultats ont été signalés dans les 350 essais cliniques randomisés inclus (pour une médiane de 18 par essai). La proportion moyenne (par essai) de résultats importants pour le patient était de 60 %, et 66 % des essais précisaient un résultat primaire important pour le patient. Les résultats primaires importants pour le patient les plus couramment signalés étaient les événements morbides (41 %), les résultats liés à une intervention (11 %), le fonctionnement (11 %) et la douleur (9 %). Des résultats primaires de substitution ou de laboratoire ont été signalés dans 33 % et 8 % des essais, respectivement. Les résultats importants pour le patient n’étaient pas associés à la situation du résultat primaire (RC 0,82, intervalle de confiance de 95 %, 0,63–1,1, I2 = 21 %).

Conclusion : Un nombre important d’essais cliniques randomisés en chirurgie précisent des résultats primaires qui ne sont pas importants pour le patient. Les auteurs, les revues et les organismes de financement des essais devraient insister pour que les résultats importants pour le patient soient l’objet principal de l’étude.

See also the commentary by Vinden on page 81.

Accepted Sept. 21, 2016; Early-released Feb. 1, 2017

Acknowledgements: The authors thank the librarians at the Cochrane Renal Group, Westmead, NSW, Australia, and the Ken Merten Library, Liverpool Hospital, Liverpool, NSW, Australia, for their assistance with the development of the search strategies used.

Affiliations: All authors are from the Whitlam Orthopaedic Research Centre, Ingham Institute for Applied Medical Research, Liverpool, New South Wales, Australia.

Funding: S. Adie is supported by scholarship grants from the National Health and Medical Research Council of Australia (Biomedical Postgraduate Scholarship), and the Royal Australasian College of Surgeons (Sir Roy McCaughey Research Fellowship). The funders had no role in the design, data collection or analysis of this study.

Competing interests: None declared.

Contributors: S. Adie and I. Harris designed the study. S. Adie, J. Naylor and R. Mittal acquired the data, which all authors analyzed. All authors wrote and reviewed the article and approved the final version for publication.

DOI: 10.1503/cjs.010616

Correspondence to: S. Adie, Orthopaedic Department, Liverpool Hospital, Locked Bag 7103, Liverpool BC, NSW Australia 1871;