Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2022 Sep 27;7(3):242-246.
doi: 10.3138/jammi-2022-0002. eCollection 2022 Sep.

Testing behaviour may bias observational studies of vaccine effectiveness

Paul Glasziou  1 , Kirsten McCaffery  2 , Erin Cvejic  2 , Carys Batcup  2 , Julie Ayre  2 , Kristen Pickles  2 , Carissa Bonner  2
Affiliations

Testing behaviour may bias observational studies of vaccine effectiveness

Paul Glasziou et al. J Assoc Med Microbiol Infect Dis Can. .

Abstract
in English, French

Background: Recent observational studies suggest that vaccines may have little effect in preventing infection with the Omicron variant of severe acute respiratory syndrome coronavirus 2. However, the observed effects may be confounded by patient factors, preventive behaviours, or differences in testing behaviour. To assess potential confounding, we examined differences in testing behaviour between unvaccinated and vaccinated populations.

Methods: We recruited 1,526 Australian adults for an online randomized study about coronavirus disease 2019 (COVID-19) testing in late 2021, collecting self-reported vaccination status and three measures of COVID-19 testing behaviour: testing in past month or ever and test intention if they woke with a sore throat. We examined the association between testing intentions and vaccination status in the trial's baseline data.

Results: Of the 1,526 participants (mean age 31 y), 22% had a COVID-19 test in the past month and 61% ever; 17% were unvaccinated, 11% were partially vaccinated (one dose), and 71% were fully vaccinated (two or more doses). Fully vaccinated participants were twice as likely as those who were unvaccinated (relative risk [RR] 2.2, 95% CI 1.8 to 2.8, p < 0.001) to report positive COVID testing intentions. Partially vaccinated participants had less positive intentions than fully vaccinated participants (RR 0.68, 95% CI 0.52 to 0.89, p < 0.001) but higher intentions than unvaccinated participants (RR 1.5, 95% CI 1.4 to 1.6, p = 0.002).

Discussion: Vaccination predicted greater COVID-19 testing intentions and would substantially bias observed vaccine effectiveness. To account for differential testing behaviours, test-negative designs are currently the preferred option, but their assumptions need more thorough examination.

Historique: Selon de récentes études observationnelles, les vaccins peuvent avoir peu d’effet sur la prévention de l’infection par le variant Omicron du coronavirus 2 du syndrome respiratoire aigu sévère. Cependant, les effets observés peuvent être biaisés par des facteurs liés aux patients, des comportements préventifs ou des différences de comportements liés aux tests. Pour évaluer les facteurs confusionnels potentiels, les auteurs ont examiné les différences de comportements liés aux tests entre les populations non vaccinées et vaccinées.

Méthodologie: Les auteurs ont recruté 1 526 adultes australiens en vue d’une étude randomisée en ligne sur les tests de la maladie à coronavirus 2019 (COVID-19) à la fin de 2021, afin de colliger l’état vaccinal autodéclaré et trois mesures sur les comportements liés aux tests de la COVID-19 : test au cours du mois précédent ou jamais auparavant et intention de se soumettre à un test en cas de mal de gorge. Ils ont examiné l’association entre les intentions de se soumettre à un test et l’état vaccinal dans les données de référence de l’étude.

Résultats: Sur les 1 526 participants (d’un âge moyen de 31 ans), 22 % avaient subi un test de COVID-19 au cours du mois précédent et 61 % n’en avaient jamais subi; 17 % n’étaient pas vaccinés, 11 % l’étaient partiellement (une dose) et 71 % l’étaient pleinement (au moins deux doses). Les participants pleinement vaccinés étaient deux fois plus susceptibles que ceux qui ne l’étaient pas (risque relatif [RR] 2,2, IC à 95 % 1,8 à 2,8, p < 0,001) de déclarer des intentions de se faire tester contre la COVID-19. Les participants partiellement vaccinés avaient des intentions moins positives que les participants pleinement vaccinés (RR 0,68, IC à 95 % 0,52 à 0,89, p < 0,001), mais plus élevées que ceux qui ne l’étaient pas du tout (RR 1,5, IC à 95 % 1,4 à 1,6, p = 0,002).

Discussion: La vaccination était prédictive de plus grandes intentions de subir un test de COVID-19 et établissait un biais important à l’égard de l’efficacité réelle des vaccins. Pour tenir compte des comportements différentiels vis-à-vis des tests, les méthodologies de tests négatifs constituent actuellement la solution privilégiée, mais cette hypothèse doit être approfondie.

Keywords: bias; test negative design; vaccine effectiveness.

PubMed Disclaimer

Figures

Figure A1:
Figure A1:
The true and apparent VE for the range of true VE from 0 to 1 for (a) equal testing behaviour among vaccinated and unvaccinated people (solid line) and (b) unvaccinated people undergoing half the testing or detection of vaccinated people (dotted line) Note: Arrows indicate the 30% T_VE scenario VE = Vaccine efficacy
See this image and copyright information in PMC

References

    1. Hansen CH, Schelder AB, Mousten-Helm IR, et al. Vaccine effectiveness against SARS-CoV-2 infection with the Omicron or Delta variants following a two-dose or booster BNT162b2 or mRNA-1273 vaccination series: a Danish cohort study. medRxiv 2021. 10.1101/2021.12.20.21267966. - DOI
    1. Fichera A. Claim vaccines increase susceptibility to omicron unfounded. Associated Press News. 2021. https://apnews.com/article/fact-checking-997075961043 (Jan 13, 2022).
    1. Matytsin A. The mask-wearing bias in the estimates of vaccine efficacy. MedRxiv. 2021. 10.1101/2021.10.19.21265093. - DOI
    1. Fukushima W, Hirota Y. Basic principles of test-negative design in evaluating influenza vaccine effectiveness. Vaccine. 2017;35(36):4796–800. 10.1016/j.vaccine.2017.07.003. Medline: - DOI - PubMed
    1. Foppa IM, Haber M, Ferdinands JM, Shay DK. The case test-negative design for studies of the effectiveness of influenza vaccine. Vaccine. 2013;31(30):3104–9. 10.1016/j.vaccine.2013.04.026. Medline: - DOI - PubMed

LinkOut - more resources