Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2021 Mar 15:19:eAO6002.
doi: 10.31744/einstein_journal/2021AO6002. eCollection 2021.

COVID-19 meta-analyses: a scoping review and quality assessment

[Article in English, Portuguese]
Gabriel Natan Pires  1 , Andréia Gomes Bezerra  1 , Thainá Baenninger de Oliveira  2 , Samuel Fen I Chen  2 , Victor Davis Apostolakis Malfatti  2 , Victoria Feiner Ferreira de Mello  2 , Alyne Niyama  2 , Vitor Luiz Selva Pinto  2 , Monica Levy Andersen  1 , Sergio Tufik  1
Affiliations

COVID-19 meta-analyses: a scoping review and quality assessment

[Article in English, Portuguese]
Gabriel Natan Pires et al. Einstein (Sao Paulo). .

Abstract
in English, Portuguese

Objective: To carry out a scoping review of the meta-analyses published regarding about coronavirus disease 2019 (COVID-19), evaluating their main characteristics, publication trends and methodological quality.

Methods: A bibliometric search was performed in PubMed®, Scopus and Web of Science, focusing on meta-analyses about COVID-2019 disease. Bibliometric and descriptive data for the included articles were extracted and the methodological quality of the included meta-analyses was evaluated using A Measurement Tool to Assess Systematic Reviews.

Results: A total of 348 meta-analyses were considered eligible. The first meta-analysis about COVID-19 disease was published on February 26, 2020, and the number of meta-analyses has grown rapidly since then. Most of them were published in infectious disease and virology journals. The greatest number come from China, followed by the United States, Italy and the United Kingdom. On average, these meta-analyses included 23 studies and 15,200 participants. Overall quality was remarkably low, and only 8.9% of them could be considered as of high confidence level.

Conclusion: Although well-designed meta-analyses about COVID-19 disease have already been published, the majority are of low quality. Thus, all stakeholders playing a role in COVID-19 deseases, including policy makers, researchers, publishers and journals, should prioritize well-designed meta-analyses, performed only when the background information seem suitable, and discouraging those of low quality or that use suboptimal methods.

Objetivo:: Realizar uma revisão de escopo das metanálises publicadas sobre a doença pelo coronavírus 2019 (COVID-19), avaliando suas principais características, tendências de publicação e qualidade metodológica.

Métodos:: Uma busca bibliométrica foi realizada em PubMed®, Scopus e Web of Science, com foco em metanálises sobre a doença pelo COVID-19. Foram extraídos dados bibliométricos e descritivos dos artigos incluídos, e a qualidade metodológica foi avaliada usando a ferramenta A Measurement Tool to Assess Systematic Reviews.

Resultados:: Um total de 348 metanálises foram consideradas elegíveis. A primeira delas foi publicada em 26 de fevereiro de 2020, e, desde então, o número dessas publicações cresceu rapidamente. A maioria foi publicada em periódicos de infectologia e virologia. Grande parte é proveniente da China, seguida dos Estados Unidos, da Itália e do Reino Unido. Em média, as metanálises incluíram 23 estudos e 15.200 participantes. Em geral, a qualidade metodológica foi baixa, e apenas 8,9% delas podem ser consideradas de algum grau de confiabilidade

Conclusão:: Embora algumas metanálises bem conduzidas sobre a doença pelo COVID-19 tenham sido publicadas, a maioria apresenta baixa qualidade. Todos os envolvidos na abordagem da doença pelo COVID-19, incluindo formuladores de políticas, pesquisadores, editoras e periódicos, devem dar prioridade a metanálises de alta qualidade, realizadas apenas quando os dados são viáveis, e desencorajar as de baixa qualidade ou conduzidas com métodos subótimos.

PubMed Disclaimer

Conflict of interest statement

Conflict of interest:

none.

Figures

Figure 1
Figure 1. Flowchart of article identification and inclusion
Figure 2
Figure 2. Temporal analysis of publication output. Number of meta-analyses published per month is shown since the publication of the first meta-analysis (February 26). Articles whose publication date could not be determined, or that are scheduled for September 2020 onwards are not counted (n=329). Data from August should not be interpreted as a reduction in the number of meta-analyses published, as the search strategy was made on August 18, 2020
Figure 3
Figure 3. Publication output per subject area and country. (A) Number of articles on each subject area; (B) Number of journals in each subject area; (C) Number of articles per country. The time since the first local case of COVID-19, the ability to include studies published in local languages, and the recent surge in the publication of meta-analyses in general may have contributed to China being ranked as producer of the largest number of analyses, with an output double that of the United States
Figure 4
Figure 4. Quality assessment of meta-analyses about COVID-19 using A Measurement Tool to Assess Systematic Reviews. (A) Number of meta-analyses according to different levels of confidence; (B) Evaluation of each criterion included in A Measurement Tool to Assess Systematic Reviews. Green means that an item was adequately addressed; yellow means it was partially addressed, and red means it was not addressed
Figura 1
Figura 1. Fluxograma de identificação e inclusão de artigos
Figura 2
Figura 2. Análise temporal da produção de publicações. O número de metanálises publicadas por mês é mostrado desde a publicação da primeira delas (26 de fevereiro). Os artigos cuja data de publicação não pôde ser determinada ou previstos para publicação a partir de setembro de 2020 não foram contados (n=329). Os dados de agosto não devem ser interpretados como uma redução no número de metanálises publicadas, já que a estratégia de busca foi colocada em prática em 18 de agosto de 2020
Figura 3
Figura 3. Publicações por área temática e país. (A) Número de artigos em cada área temática; (B) Número de periódicos em cada área temática; (C) Número de artigos por país. O tempo decorrido desde o primeiro caso local de COVID-19, a capacidade de incluir estudos publicados em idiomas locais e o recente aumento geral na publicação de metanálises podem ter contribuído para a classificação da China como a maior produtora de análises, com produção duas vezes maior que os Estados Unidos
Figura 4
Figura 4. Avaliação de qualidade das metanálises sobre COVID-19 usando a ferramenta A Measurement Tool to Assess Systematic Reviews. (A) Número de metanálises conforme os diferentes níveis de confiança; (B) Avaliação de cada critério incluído na ferramenta A Measurement Tool to Assess Systematic Reviews. A cor verde significa que um item foi abordado de forma adequada; amarelo significa que foi parcialmente abordado de forma adequada, e vermelho significa que não foi abordado
See this image and copyright information in PMC

Comment in

References

    1. 1. Lou J, Tian SJ, Niu SM, Kang XQ, Lian HX, Zhang LX, et al. Coronavirus disease 2019: a bibliometric analysis and review. Eur Rev Med Pharmacol Sci. 2020;24(6):3411-21. - PubMed
    1. 2. Škorić L, Glasnović A, Petrak J. A publishing pandemic during the COVID-19 pandemic: how challenging can it become? Croat Med J. 2020;61(2):79-81. - PMC - PubMed
    1. 3. Kambhampati SB, Vaishya R, Vaish A. Unprecedented surge in publications related to COVID-19 in the first three months of pandemic: a bibliometric analytic report. J Clin Orthop Trauma. 2020;11(Suppl 3):S304-6. - PMC - PubMed
    1. 4. Gale RP. Conquest of COVID-19. Publish it to death? Br J Haematol. 2020; 190(3):358-60. - PMC - PubMed
    1. 5. Zhang H, Shao F, Gu J, Li L, Wang Y. Ethics Committee Reviews of applications for research studies at 1 hospital in China during the 2019 novel coronavirus epidemic. JAMA. 2020;323(18):1844-6. - PMC - PubMed

Publication types