Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2007 Aug;50(4):266-77.

A systematic review of the quality of publications reporting coronary artery bypass grafting trials

Forough Farrokhyar  1 , Rong Chu, Richard Whitlock, Lehana Thabane
Affiliations

A systematic review of the quality of publications reporting coronary artery bypass grafting trials

Forough Farrokhyar et al. Can J Surg. 2007 Aug.

Abstract
in English, French

Objective: Several studies have shown that the quality of reports of randomized controlled trials (RCTs) in medicine is variable and often poor, whereas the quality of those in surgery is unknown. We aimed to assess the quality of reports of RCTs in coronary artery bypass grafting (CABG) surgery when comparing off- and on-pump techniques.

Methods: From electronic searches of MEDLINE, the Cochrane Library, CINAHL, HealthSTAR and EMBASE, we identified RCTs published between 2000 and 2005 comparing off- and on-pump CABG. We assessed the report quality, using 35 items from the Consolidated Standards for Reporting Trials (CONSORT) statement and 54 additional indicators relevant to CABG surgery. Some of the indicators comprised several small parts, making the maximum possible total score 105. Two authors independently reviewed and assessed the reporting quality of each RCT. The level of agreement was assessed with kappa statistics, and disagreements were resolved by consensus. We expressed descriptive analyses as median and interquartile range; we used a generalized estimating equation (GEE) for data analysis.

Results: We included 50 trials, for a total of 5134 patients. The kappa value was greater than 0.6 for 73 of 105 (70%) indicators. The overall report quality score varied from 35 to 93 of 105. The CONSORT score reporting quality varied from 16 to 39 of 42. The quality of reporting was poor and insufficient for the methods (particularly, the sample size, allocation and blinding subsections), results and discussion sections. With GEE modelling, the reporting quality had a strong association with trial size, publication year, trial location and funding source, but not with the results and type of primary outcome.

Conclusion: The quality of the publications' reporting methods, results and discussion sections was suboptimal. It is critical that, in reporting surgical trials, authors follow the CONSORT guidelines as well as consider the surgical factors.

Objectif: Plusieurs études ont démontré que la qualité des rapports d'études contrôlées randomisées (ECR) en médecine est variable et souvent médiocre, tandis qu'on ne connaît pas celle des rapports d'ECR en chirurgie. Nous voulions évaluer la qualité des rapports d'ECR sur le pontage aortocoronarien (PAC) lorsque l'on compare des techniques sans pompe et avec pompe.

Méthodes: Des recherches effectuées dans les banques de données MEDLINE, Cochrane Library, CINAHL, HealthSTAR et EMBASE nous ont permis de repérer des rapports publiés entre 2000 et 2005 portant sur des ECR au cours desquelles on a comparé le PAC sans pompe et avec pompe. Nous avons évalué la qualité du rapport en nous fondant sur 35 éléments de l'énoncé sur le regroupement des normes relatives aux rapports d'études (CONSORT) et sur 54 indicateurs supplémentaires pertinents au PAC. Certains des indicateurs comportaient plusieurs sous-éléments, ce qui a porté à 105 le score total maximum possible. Deux auteurs ont critiqué et évalué indépendamment la qualité du rapport de chaque ECR. On a évalué le niveau de convergence au moyen de statistiques kappa et résolu les divergences de vues par consensus. Nous avons exprimé les analyses descriptives sous forme d'intervalle médian et interquartile. Nous avons utilisé une équation d'estimation généralisée (EEG) pour analyser les données.

Résultats: Nous avons inclus 50 études portant sur 5134 patients au total. La valeur kappa a dépassé 0,6 pour 73 indicateurs sur 105 (70 %). Le score global de la qualité des rapports a varié de 35 à 93 sur 105. Le score CONSORT de qualité des rapports a varié de 16 à 39 sur 42. La qualité des rapports était médiocre et insuffisante dans les sections portant sur les méthodes (en particulier les sous-sections sur la taille de l'échantillon, la répartition et le masquage), les résultats et la discussion. La modélisation EEG a révélé qu'il y avait un lien solide entre la qualité du rapport et l'ampleur de l'étude, l'année de publication, le lieu où se déroulait l'étude et la source de financement, mais non avec les résultats et le type de résultat principal.

Conclusion: : La qualité des sections des publications sur les méthodes, les résultats et la discussion n'est pas optimale. Il est crucial que dans leur rapport sur des études chirurgicales, les auteurs suivent les lignes directrices CONSORT et tiennent compte des facteurs chirurgicaux.

PubMed Disclaimer

Figures

None
FIG. 1. Identification of eligible randomized controlled trials between Jan. 1, 2000 and Dec. 31, 2005.19–68
See this image and copyright information in PMC

Similar articles

See all similar articles

Cited by

See all "Cited by" articles

References

    1. Parolari A, Alamanni F, Cannata A, et al. Off-pump versus on-pump coronary artery bypass: meta-analysis of currently available randomized trials. Ann Thorac Surg 2003;76:37-40. - PubMed
    1. van der Heijden GJ, Nathoe HM, Jansen EW, et al. Meta-analysis on the effect of off-pump coronary bypass surgery. Eur J Cardiothorac Surg 2004;26:81-4. - PubMed
    1. Cheng DC, Bainbridge D, Martin JE, et al. Does off-pump coronary artery bypass reduce mortality, morbidity, and resource utilization when compared with conventional coronary artery bypass? A meta-analysis of randomized trials. Anesthesiology 2005;102:188-203. - PubMed
    1. Bath FJ, Owen VE, Bath PM. Quality of full and final publications reporting acute stroke trials: a systematic review. Stroke 1998;29:2203-10. - PubMed
    1. Chan KB, Man-Son-Hing M, Molnar FJ, et al. How well is the clinical importance of study results reported? An assessment of randomized controlled trials. CMAJ 2001;165:1197-202. - PMC - PubMed

Publication types