Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2014 Nov;57(11):1300-7.
doi: 10.1007/s00103-014-2045-x.

Test-retest reliability of an infectious disease questionnaire and evaluation of self-assessed vulnerability to infections : findings of Pretest 2 of the German National Cohort

S Castell  1 , M K Akmatov, N Obi, D Flesh-Janys, A Nieters, Y Kemmling, F Pessler, G Krause
Affiliations

Test-retest reliability of an infectious disease questionnaire and evaluation of self-assessed vulnerability to infections : findings of Pretest 2 of the German National Cohort

S Castell et al. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2014 Nov.

Abstract
in English, German

Introduction/objectives: Large scale population-based studies focusing on infectious diseases are scarce. This may be explained by methodological obstacles concerning ascertainment of data on infectious diseases requiring, e.g. collection of data on relatively short-termed symptoms and/or collection of biosamples for pathogen identification during a narrow time window. In the German National Cohort (GNC), a novel self-administered questionnaire will be used in addition to biosampling to collect data on selected infectious diseases and symptoms. The aim of this study was to evaluate in Pretest 2 of the GNC newly added items on self-assessed vulnerability to several infectious diseases and to assess test-retest reliability of the questionnaire.

Methods: The study was conducted in two study centres (Hamburg and Hanover) during Pretest 2 of the GNC. A self-administered paper questionnaire was applied. In Hamburg, participants were asked to fill in the questionnaire during their regular visit at the study centre. For test-retest reliability, participants in Hanover filled in the same questionnaire at home twice. To evaluate agreement, item-related percentage agreement and kappa (κ) were calculated. In addition, we computed Bennet's S and Krippendorf's alpha (α). Items on self-assessed vulnerability to infections were evaluated by comparing them with the corresponding self-reported frequency of infections. An explanatory factor analysis was applied to construct the scores of self-reported infection frequency and self-assessed vulnerability to infections.

Results: The evaluation of the internal consistency of the five-item instrument of self-assessed vulnerability to infections resulted in a Cronbach's α of 0.78. The factor analysis yielded evidence of one factor. The factor was divided into three groups (lowest quintile classified as "less prone to infections" compared to peers; second, middle and fourth quintiles classified as "similarly prone to infections" and highest quintile classified as "more prone to infections"). Participants classified as "less prone to infections" reported fewer infections than participants classified as "more prone to infections". Spearman's correlation of the two scores (self-reported infection frequency and self-assessed vulnerability to infection) was 0.50 (p < 0.0001). For quantifying reliability, 88 participants with a median time of 8 days between filling in both questionnaires could be included in the analysis; for items sensitive to disease occurrence between both questionnaires only participants with no relevant disease in this time interval were included (n = 75). The weighted κ ranged between 0.65 and 0.87 for the items on infectious disease frequency in the last 12 months, for items on symptom frequency in the past 12 months between 0.77 and 0.90, and for items on vulnerability compared to peers between 0.68 and 0.76.

Conclusion: A five-item instrument on self-assessed vulnerability to infections seems to be promising, but requires further evaluation. Overall, the questionnaire on self-reported infectious diseases used in Pretest 2 of the GNC is a moderately reliable instrument and, thus, can be applied in future studies on infectious diseases.

Einführung/Ziele: Groß angelegte populationsbasierte Studien, die Infektionskrankheiten zum Thema haben, sind selten. Dies könnte sich daraus erklären, dass die Erhebung von Daten zu Infektionskrankheiten methodisch schwierig ist. So ist es in diesem Zusammenhang z. B. erforderlich, Informationen zu nur relativ kurzzeitig auftretenden Symptomen zu erheben und/oder Bioproben zur Pathogenbestimmung zu gewinnen. In der Nationalen Kohorte (NAKO) wird zusätzlich zur Bioprobengewinnung ein neuer Fragebogen angewandt werden, um Daten zu ausgewählten Infektionskrankheiten und ihren Symptomen zu erfassen. Ziel der vorliegenden Studie war es, für den Pretest 2 der NAKO neu ergänzte Fragenbogenitems zur selbst eingeschätzten Anfälligkeit gegenüber verschiedenen Infektionskrankheiten zu evaluieren und die Test-Retest-Reliabilität des Fragebogens zu prüfen.

Methoden: Die Studie wurde im Rahmen des Pretests 2 der NAKO in 2 Studienzentren durchgeführt (Hamburg und Hannover). Die Teilnehmer wurden gebeten, einen Papierfragebogen eigenständig auszufüllen. Die Teilnehmer in Hamburg füllten den Fragebogen im Rahmen der Untersuchung im Studienzentrum aus. Die Test-Retest-Reliabilität wurde bei Probanden in Hannover überprüft, indem sie den gleichen Fragebogen 2-mal zu Hause ausfüllten. Zur Bestimmung der Konkordanz wurden die itembezogene prozentuale Übereinstimmung und Kappa (κ) berechnet. Ergänzend berechneten wir Bennets S und Krippendorfs α. Die Items der selbst eingeschätzten Infektionsanfälligkeit wurden evaluiert, indem sie mit den korrespondierenden Items zu selbst berichteten Infektionshäufigkeiten verglichen wurden. Um Scores für selbst berichtete Infektionshäufigkeit und selbst eingeschätzte Infektanfälligkeit zu entwickeln, wurde eine explorative Faktorenanalyse angewendet.

Ergebnisse: Die Evaluierung der internen Konsistenz des aus 5 Items bestehenden Instrumentes zur selbst eingeschätzten Infektanfälligkeit ergab ein Cronbachs α von 0,78. Durch die Faktorenanalyse wurde ein Faktor ermittelt. Der ermittelte Faktor wurde in 3 Gruppen unterteilt. Das unterste Quintil wurde als „weniger infektanfällig“, das zweite, dritte und vierte Quintil als „ähnlich infektanfällig“ und das oberste Quintil als „infektanfälliger“ im Vergleich zu Gleichaltrigen definiert. Probanden in der Gruppe „weniger infektanfällig“ berichteten weniger Infektionen als Teilnehmer, die als „infektanfälliger“ klassifiziert wurde. Die Korrelation (Spearman) der beiden Scores (selbst berichtete Infektionshäufigkeit und selbst eingeschätzte Infektionsanfälligkeit) ergab einen Wert von 0,50 (p < 0,0001). Um die Reliabilität zu quantifizieren, konnten 88 Teilnehmer mit einem medianen Zeitraum von 8 Tagen zwischen beiden Fragebögen für die Berechnungen berücksichtigt werden; Items, die vom Auftreten von Krankheiten zwischen dem Ausfüllen beider Fragebögen beeinflusst werden könnten, wurden nur unter Berücksichtigung von Teilnehmern ohne relevante Erkrankungen in diesem Zeitraum analysiert (n = 75). Das gewichtete κ bewegte sich zwischen 0,65 und 0,87 für Items zur Häufigkeit von Infektionskrankheiten in den vergangenen 12 Monaten, zwischen 0,77 und 0,90 für Items zur Symptomhäufigkeit in den vergangenen 12 Monaten und zwischen 0,68 und 0,76 für Items zur Infektanfälligkeit verglichen mit Gleichaltrigen.

Schlussfolgerung: Das aus 5 Items bestehende Instrument zur selbst eingeschätzten Infektionsanfälligkeit scheint vielversprechend zu sein. Allerdings sollte es noch weitergehend validiert werden. Grundsätzlich ist der Fragebogen zu selbst berichteten Infektionskrankheiten, wie er im Pretest 2 der NAKO verwendet wurde, ein relativ reliables Instrument und kann daher in weiteren Studien zu Infektionskrankheiten angewendet werden.

PubMed Disclaimer

Figures

Fig. 1
Fig. 1
Distribution of a the self-assessed infection vulnerability score and b the score of self-reported frequency of infections. The scores were derived by using factor analysis (see the Methods section)
Fig. 2
Fig. 2
Relative self-reported frequency in the last 12 months of a upper respiratory tract and b gastrointestinal tract infections according to the three groups of self-assessed infection vulnerability
Fig. 3
Fig. 3
Flow chart of the reliability study
See this image and copyright information in PMC

Similar articles

See all similar articles

Cited by

References

    1. Schenk L, Bau AM, Borde T, et al. A basic set of indicators for mapping migrant status. Recommendations for epidemiological practice. Bundesgesundheitsbl Gesundheitsforsch Gesundheitsschutz. 2006;49(9):853–860. doi: 10.1007/s00103-006-0018-4. - DOI - PubMed
    1. Hoffmeyer-Zlotnik H, Heckel C, von der Heyde C et al (2010) Statistik und Wissenschaft. Demographische Standards. Statistischer Bundesamt; Report No.: Band 17
    1. Jöckel K, Babitsch B, Bellach B et al (1997) Messung und Quantifizierung soziographischer Merkmale in epidemiologischen Studien. Empfehlungen der DAE, GMDS, DGSMP und Deutschen Region der Internationalen Biometrischen Gesellschaft
    1. Sim J, Wright CC. The kappa statistic in reliability studies: use, interpretation, and sample size requirements. Phys Ther. 2005;85(3):257–268. - PubMed
    1. Brennan PF, Hays BJ. The kappa statistic for establishing interrater reliability in the secondary analysis of qualitative clinical data. Res Nurs Health. 1992;15(2):153–158. doi: 10.1002/nur.4770150210. - DOI - PubMed

Publication types