Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
Review
. 2022 Dec 21:20:Doc12.
doi: 10.3205/000314. eCollection 2022.

Causal evidence in health decision making: methodological approaches of causal inference and health decision science

Felicitas Kühne  1 , Michael Schomaker  1   2 , Igor Stojkov  1 , Beate Jahn  1   3 , Annette Conrads-Frank  1 , Silke Siebert  1 , Gaby Sroczynski  1 , Sibylle Puntscher  1 , Daniela Schmid  1 , Petra Schnell-Inderst  1 , Uwe Siebert  1   3   4   5
Affiliations
Review

Causal evidence in health decision making: methodological approaches of causal inference and health decision science

Felicitas Kühne et al. Ger Med Sci. .

Abstract
in English, German

Objectives: Public health decision making is a complex process based on thorough and comprehensive health technology assessments involving the comparison of different strategies, values and tradeoffs under uncertainty. This process must be based on best available evidence and plausible assumptions. Causal inference and health decision science are two methodological approaches providing information to help guide decision making in health care. Both approaches are quantitative methods that use statistical and modeling techniques and simplifying assumptions to mimic the complexity of the real world. We intend to review and lay out both disciplines with their aims, strengths and limitations based on a combination of textbook knowledge and expert experience.

Methods: To help understanding and differentiating the methodological approaches of causal inference and health decision science, we reviewed both methods with the focus on aims, research questions, methods, assumptions, limitations and challenges, and software. For each methodological approach, we established a group of four experts from our own working group to carefully review and summarize each method, followed by structured discussion rounds and written reviews, in which the experts from all disciplines including HTA and medicine were involved. The entire expert group discussed objectives, strengths and limitations of both methodological areas, and potential synergies. Finally, we derived recommendations for further research and provide a brief outlook on future trends.

Results: Causal inference methods aim for drawing causal conclusions from empirical data on the relationship of pre-specified interventions on a specific target outcome and apply a counterfactual framework and statistical techniques to derive causal effects of exposures or interventions from these data. Causal inference is based on a causal diagram, more specifically, a directed acyclic graph (DAG), which encodes the assumptions regarding the causal relations between variables. Depending on the type of confounding and selection bias, traditional statistical methods or more complex g-methods are needed to derive valid causal effects. Besides the correct specification of the DAG and the statistical model, assumptions such as consistency, positivity, and exchangeability must be checked when aiming at causal inference. Health decision science aims for guiding policy decision making regarding health interventions considering and balancing multiple competing objectives of a decision based on data from multiple sources and studies, for example prevalence studies, clinical trials and long-term observational routine effectiveness studies, and studies on preferences and costs. It involves decision analysis, a systematic, explicit and quantitative framework to guide decisions under uncertainty. Decision analyses are based on decision-analytic models to mimic the course of disease as well as aspects and consequences of the intervention in order to quantitatively optimize the decision. Depending on the type of decision problem, decision trees, state-transition models, discrete event simulation models, dynamic transmission models, or other model types are applied. Models must be validated against observed data, and comprehensive sensitivity analyses must be performed to assess uncertainty. Besides the appropriate choice of the model type and the valid specification of the model structure, it must be checked if input parameters of effects can be interpreted as causal parameters in the model. Otherwise results will be biased.

Conclusions: Both causal inference and health decision science aim for providing best causal evidence for informed health decision making. The strengths and limitations of both methods differ and a good understanding of both methods is essential for correct application but also for correct interpretation of findings from the described methods. Importantly, decision-analytic modeling should be combined with causal inference when developing guidance and recommendations regarding decisions on health care interventions.

Zielsetzungen: Die Entscheidungsfindung im Gesundheitswesen ist ein komplexer Prozess, der auf gründlichen und umfassenden Bewertungen von Gesundheitstechnologien beruht und den Vergleich verschiedener Strategien, Werte und Kompromisse unter Unsicherheit beinhaltet. Dieser Prozess muss auf den besten verfügbaren Erkenntnissen und plausiblen Annahmen beruhen. Kausalinferenz und Entscheidungsanalyse sind zwei methodische evidenzbasierte Ansätze, die Informationen liefern, um die Entscheidungsfindung im Gesundheitswesen zu unterstützen. Bei beiden Ansätzen handelt es sich um quantitative Methoden, die statistische Techniken und Modellierungstechniken sowie vereinfachende Annahmen verwenden, um die Komplexität der realen Welt zu imitieren. Wir beabsichtigen in dieser Publikation, auf der Grundlage von Lehrbuchwissen und Expertenerfahrung beide Disziplinen mit ihren Zielen, Stärken und Grenzen darzustellen.

Methoden: Um das Verständnis und die Unterscheidung der methodischen Ansätze der kausalen Inferenz und der gesundheitswissenschaftlichen Entscheidungsanalyse zu erleichtern, haben wir beide Methoden mit dem Schwerpunkt auf Ziele, Forschungsfragen, Methoden, Annahmen, Grenzen und Herausforderungen sowie verfügbare Software untersucht. Für jeden methodischen Ansatz setzten wir eine Gruppe von vier Experten aus unserer eigenen Arbeitsgruppe ein, um jede Methode sorgfältig zu begutachten und ihre Charakteristika zusammenzufassen. In den darauffolgenden strukturierten Diskussionsrunden und schriftlichen Überprüfungen waren Experten aus allen Disziplinen einschließlich Health Technology Assessment (HTA) und Medizin beteiligt. Die gesamte Expertengruppe diskutierte Ziele, Stärken und Grenzen der beiden methodischen Bereiche und mögliche Synergien. Abschließend wurden Empfehlungen für die weitere Forschung abgeleitet und ein kurzer Ausblick auf zukünftige Trends gegeben.

Ergebnisse: Methoden der kausalen Inferenz zielen darauf ab, kausale Schlussfolgerungen aus empirischen Daten über die Beziehung zwischen vorher festgelegten Interventionen und einem bestimmten Zielendpunkt zu ziehen. Es werden ein kontrafaktischer Rahmenansatz und statistische Techniken angewandt, um kausale Auswirkungen von Expositionen oder Interventionen aus diesen Daten abzuleiten. Die kausale Inferenz basiert auf einem Kausaldiagramm, genauer gesagt auf einem directed acyclic graph (DAG), der die Annahmen bezüglich der kausalen Beziehungen zwischen Variablen darstellt. Je nach Art des Confounding und des Selektionsbias sind traditionelle statistische Methoden oder komplexere g-Methoden erforderlich, um gültige kausale Effekte abzuleiten. Neben der korrekten Spezifikation des DAG und des statistischen Modells müssen Annahmen wie Consistency, Positivity und Exchangeability überprüft werden, wenn man kausale Schlüsse ziehen möchte. Die gesundheitswissenschaftliche Entscheidungsanalyse zielt darauf ab, die politische Entscheidungsfindung in Bezug auf Gesundheitsmaßnahmen zu unterstützen, wobei mehrere konkurrierende Ziele einer Entscheidung auf der Grundlage von Daten aus verschiedenen Quellen und Studien berücksichtigt und abgewogen werden. Diese Studien umfassen z. B. Prävalenzstudien, klinische Studien und langfristige Routinebeobachtungsstudien zur Wirksamkeit sowie Studien zu Präferenzen und Kosten. Die Entscheidungsanalyse bietet einen systematischen, expliziten und quantitativen Rahmen, um Entscheidungen unter Unsicherheit zu strukturieren. Entscheidungsanalysen basieren auf entscheidungsanalytischen Modellen, die den Krankheitsverlauf sowie die Aspekte und Folgen der Intervention nachbilden. Je nach Art des Entscheidungsproblems werden Entscheidungsbäume, Zustands-Übergangs-Modelle (z. B. Markov-Modelle), diskrete Ereignissimulationsmodelle, dynamische Übertragungsmodelle oder andere Modelltypen verwendet. Die Modelle müssen anhand von Beobachtungsdaten validiert werden, und es sind umfassende Sensitivitätsanalysen durchzuführen, um die Unsicherheit zu bewerten. Neben der angemessenen Wahl des Modelltyps und der validen Spezifikation der Modellstruktur muss geprüft werden, ob die Einflussparameter für die daraus resultierenden Auswirkungen als kausale Parameter im Modell interpretiert werden können. Andernfalls werden die Ergebnisse verzerrt.

Schlussfolgerungen: Sowohl die kausale Inferenz als auch die gesundheitswissenschaftliche Entscheidungsanalyse zielen darauf ab, die beste kausale Evidenz für eine informierte Entscheidungsfindung zu liefern. Die Stärken und Grenzen beider Methoden sind unterschiedlich, und ein gutes Verständnis beider Methoden ist für die korrekte Anwendung, aber auch für die korrekte Interpretation der Ergebnisse der beschriebenen Methoden unerlässlich. Wichtig ist, dass entscheidungsanalytische Modellierungen mit kausalen Inferenzmethoden kombiniert werden, wenn es um die Entwicklung von Leitlinien und Empfehlungen für Entscheidungen über Interventionen im Gesundheitswesen geht.

Keywords: causal inference; decision-analytic modeling; epidemiology; health decision science; health technology assessment; medical decision making.

PubMed Disclaimer

Conflict of interest statement

Felicitas Kühne, Michael Schomaker, Igor Stojkov, and Uwe Siebert teach Causal Inference courses in the HTADS Program on Continuing Education at UMIT TIROL (http://www.htads.org).

Figures

Figure 1
Figure 1. Examples of directed acyclic graphs (created with and following the layout of the software “daggity” [158])
Figure 2
Figure 2. Directed acyclic graph for cancer
Figure 3
Figure 3. Potential decision tree as start of decision problem in HIV-positive patients
Figure 4
Figure 4. State transition diagram
Figure 5
Figure 5. Extrapolation of treatment effects
Figure 6
Figure 6. Receiver operating characteristic (ROC) curve
See this image and copyright information in PMC

Similar articles

See all similar articles

Cited by

See all "Cited by" articles

References

    1. Winslow CE. The untilled fields of public health. Science. 1920 Jan;51(1306):23–33. doi: 10.1126/science.51.1306.23. - DOI - PubMed
    1. Drummond MF, Schwartz JS, Jönsson B, Luce BR, Neumann PJ, Siebert U, Sullivan SD. Key principles for the improved conduct of health technology assessments for resource allocation decisions. Int J Technol Assess Health Care. 2008;24(3):244–258. doi: 10.1017/S0266462308080343. - DOI - PubMed
    1. Siebert U. Transparente Entscheidungen in Public Health mittels systematischer Entscheidungsanalyse. In: Schwartz FW, Walter U, Siegrist J, Kolip P, Leidl R, Dierks ML, Busse R, Schneider N, editors. Das Public Health Buch. 3rd ed. Munich: Urban & Fischer; 2012. pp. 517–535.
    1. Siebert U. When should decision-analytic modeling be used in the economic evaluation of health care? Eur J Health Econom. 2003;4:143–150.
    1. Hunink MGM, Glasziou PG, Siegel JE, Weeks JC, Pliskin JS, Elstein AS, Weinstein MC. Valuing outcomes. In: Hunink MGM, Glasziou PG, Siegel JE, Weeks JC, Pliskin JS, Elstein AS, Weinstein MC, editors. Decision making in health and medicine – Integrating evidence and values. New York: Cambridge University Press; 2001. pp. 88–127.