Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2023 Sep;70(9):1461-1473.
doi: 10.1007/s12630-023-02510-6. Epub 2023 Jul 8.

Methodological and reporting quality assessment of network meta-analyses in anesthesiology: a systematic review and meta-epidemiological study

Herman Sehmbi  1   2 , Susanne Retter  3   4 , Ushma J Shah  1 , Derek Nguyen  5 , Janet Martin  1   6 , Vishal Uppal  7   8   9
Affiliations

Methodological and reporting quality assessment of network meta-analyses in anesthesiology: a systematic review and meta-epidemiological study

Herman Sehmbi et al. Can J Anaesth. 2023 Sep.

Abstract
in English, French

Purpose: The scientific rigour of the conduct and reporting of anesthesiology network meta-analyses (NMAs) is unknown. This systematic review and meta-epidemiological study assessed the methodological and reporting quality of NMAs in anesthesiology.

Methods: We searched four databases, including MEDLINE, PubMed, Embase, and the Cochrane Systematic Reviews Database, for anesthesiology NMAs published from inception to October 2020. We assessed the compliance of NMAs against A Measurement Tool to Assess Systematic Reviews (AMSTAR-2), Preferred Reporting Items for Systematic Reviews and Meta-Analyses Statement for Network Meta-Analyses (PRISMA-NMA), and PRISMA checklists. We measured the compliance across various items in AMSTAR-2 and PRISMA checklists and provided recommendations to improve quality.

Results: Using the AMSTAR-2 rating method, 84% (52/62) of NMAs were rated "critically low." Quantitatively, the median [interquartile range] AMSTAR-2 score was 55 [44-69]%, while the PRISMA score was 70 [61-81]%. Methodological and reporting scores showed a strong correlation (R = 0.78). Anesthesiology NMAs had a higher AMSTAR-2 score and PRISMA score if they were published in higher impact factor journals (P = 0.006 and P = 0.01, respectively) or followed PRISMA-NMA reporting guidelines (P = 0.001 and P = 0.002, respectively). Network meta-analyses from China had lower scores (P < 0.001 and P < 0.001, respectively). Neither score improved over time (P = 0.69 and P = 0.67, respectively).

Conclusion: The current study highlights numerous methodological and reporting deficiencies in anesthesiology NMAs. Although the AMSTAR tool has been used to assess the methodological quality of NMAs, dedicated tools for conducting and assessing the methodological quality of NMAs are urgently required.

Study registration: PROSPERO (CRD42021227997); first submitted 23 January 2021.

RéSUMé: OBJECTIF: La rigueur scientifique de la conduite et de la communication des méta-analyses en réseau (MAR) en anesthésiologie est inconnue. Cette revue systématique et étude méta-épidémiologique a évalué la qualité méthodologique et de communication des MAR en anesthésiologie. MéTHODE: Nous avons mené des recherches dans quatre bases de données, soit MEDLINE, PubMed, Embase et la base de données des revues systématiques Cochrane, pour trouver des MAR en anesthésiologie publiées depuis la création de ces bases de données jusqu’en octobre 2020. Nous avons évalué la conformité des MAR par rapport à trois outils, soit : AMSTAR-2 (outil de mesure pour évaluer les revues systématiques), PRISMA-NMA et les listes de contrôle PRISMA. Nous avons mesuré la conformité de divers éléments des listes de contrôle AMSTAR-2 et PRISMA et formulé des recommandations pour améliorer la qualité. RéSULTATS: En utilisant la méthode de notation AMSTAR-2, 84 % (52/62) des MAR ont reçu la cote « extrêmement faible ». Quantitativement, le score médian [écart interquartile] sur l’AMSTAR-2 était de 55 [44-69] %, tandis que le score PRISMA était de 70 [61-81] %. Les scores méthodologiques et de communication ont montré une forte corrélation (R = 0,78). Les MAR en anesthésiologie avaient un score AMSTAR-2 et un score PRISMA plus élevés si elles étaient publiées dans des revues à facteur d’impact plus élevé (P = 0,006 et P = 0,01, respectivement) ou avaient suivi les lignes directrices de PRISMA-NMA en matière de communication des résultats (P = 0,001 et P = 0,002, respectivement). Les méta-analyses en réseau provenant de Chine avaient des scores plus faibles (P < 0,001 et P < 0,001, respectivement). Aucun des deux scores ne s’est amélioré au fil du temps (P = 0,69 et P = 0,67, respectivement). CONCLUSION: La présente étude met en évidence de nombreuses lacunes méthodologiques et de communication dans les MAR en anesthésiologie. Bien que l’outil AMSTAR ait été utilisé pour évaluer la qualité méthodologique des MAR, il est urgent de disposer d’outils spécialisés pour mener des MAR et en évaluer la qualité méthodologique. ENREGISTREMENT DE L’éTUDE: PROSPERO (CRD42021227997); soumis pour la première fois le 23 janvier 2021.

Keywords: AMSTAR; PRISMA-NMA; anesthesiology; methodology; network meta-analysis; reporting.

PubMed Disclaimer

Similar articles

See all similar articles

Cited by

References

    1. Berlin JA, Golub RM. Meta-analysis as evidence: building a better pyramid. JAMA 2014; 312: 603–5. https://doi.org/10.1001/jama.2014.8167 - DOI - PubMed
    1. Lee YH. Strengths and limitations of meta-analysis. Korean J Med 2019; 94: 391–5. - DOI
    1. Rouse B, Chaimani A, Li T. Network meta-analysis: an introduction for clinicians. Intern Emerg Med 2017; 12: 103–11. https://doi.org/10.1007/s11739-016-1583-7 - DOI - PubMed
    1. Hoaglin DC, Hawkins N, Jansen JP, et al. Conducting indirect-treatment-comparison and network-meta-analysis studies: report of the ISPOR Task Force on Indirect Treatment Comparisons Good Research Practices: part 2. Value Health 2011; 14: 429–37. https://doi.org/10.1016/j.jval.2011.01.011 - DOI - PubMed
    1. The Cochrane Collaboration. A network meta-analysis toolkit. Available from URL: https://methods.cochrane.org/cmi/network-meta-analysis-toolkit (accessed January 2023).

Publication types

LinkOut - more resources