Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2022 Dec 21:20:Doc11.
doi: 10.3205/000313. eCollection 2022.

Decision-analytic modeling for early health technology assessment of medical devices - a scoping review

Annette Conrads-Frank  1 , Petra Schnell-Inderst  1 , Silke Neusser  2 , Lára R Hallsson  1 , Igor Stojkov  1 , Silke Siebert  1 , Felicitas Kühne  1 , Beate Jahn  1 , Uwe Siebert  1   3   4   5 , Gabi Sroczynski  1
Affiliations

Decision-analytic modeling for early health technology assessment of medical devices - a scoping review

Annette Conrads-Frank et al. Ger Med Sci. .

Abstract
in English, German

Objective: The goal of this review was to identify decision-analytic modeling studies in early health technology assessments (HTA) of high-risk medical devices, published over the last three years, and to provide a systematic overview of model purposes and characteristics. Additionally, the aim was to describe recent developments in modeling techniques.

Methods: For this scoping review, we performed a systematic literature search in PubMed and Embase including studies published in English or German. The search code consisted of terms describing early health technology assessment and terms for decision-analytic models. In abstract and full-text screening, studies were excluded that were not modeling studies for a high-risk medical device or an in-vitro diagnostic test. The Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) flow diagram was used to report on the search and exclusion of studies. For all included studies, study purpose, framework and model characteristics were extracted and reported in systematic evidence tables and a narrative summary.

Results: Out of 206 identified studies, 19 studies were included in the review. Studies were either conducted for hypothetical devices or for existing devices after they were already available on the market. No study extrapolated technical data from early development stages to estimate potential value of devices in development. All studies except one included cost as an outcome. Two studies were budget impact analyses. Most studies aimed at adoption and reimbursement decisions. The majority of studies were on in-vitro diagnostic tests for personalized and targeted medicine. A timed automata model, to our knowledge a model type new to HTA, was tested by one study. It describes the agents in a clinical pathway in separate models and, by allowing for interaction between the models, can reflect complex individual clinical pathways and dynamic system interactions. Not all sources of uncertainty for in-vitro tests were explicitly modeled. Elicitation of expert knowledge and judgement was used for substitution of missing empirical data. Analysis of uncertainty was the most valuable strength of decision-analytic models in early HTA, but no model applied sensitivity analysis to optimize the test positivity cutoff with regard to the benefit-harm balance or cost-effectiveness. Value-of-information analysis was rarely performed. No information was found on the use of causal inference methods for estimation of effect parameters from observational data.

Conclusion: Our review provides an overview of the purposes and model characteristics of nineteen recent early evaluation studies on medical devices. The review shows the growing importance of personalized interventions and confirms previously published recommendations for careful modeling of uncertainties surrounding diagnostic devices and for increased use of value-of-information analysis. Timed automata may be a model type worth exploring further in HTA. In addition, we recommend to extend the application of sensitivity analysis to optimize positivity criteria for in-vitro tests with regard to benefit-harm or cost-effectiveness. We emphasize the importance of causal inference methods when estimating effect parameters from observational data.

Zielsetzung: Unser Ziel war es, entscheidungsanalytische Studien zur frühen Technologiebewertung von Medizinprodukten aus den letzten drei Jahren zu identifizieren und einen systematischen Überblick über den Zweck der Modelle und die Modellcharakteristika sowie über aktuelle Entwicklungen in der Modellierungstechnik zu geben.

Methoden: Für diesen Scoping Review wurde eine systematische Literatursuche in den Datenbanken PubMed und Embase nach Studien in englischer und deutscher Sprache durchgeführt. Der Suchcode setzte sich aus Begriffen für die frühe Technologiebewertung und Begriffen für ein entscheidungsanalytisches Modell zusammen. Im Screening von Zusammenfassung und Volltext wurden Studien ausgeschlossen, bei denen es sich nicht um ein Modell für Hochrisiko-Medizinprodukte oder diagnostische Tests handelte. Für alle eingeschlossenen Studien wurden Zweck und Rahmen der Studie sowie Modellcharakteristika extrahiert und zusammenfassend in sytematischen Evidenztabellen sowie in narrativer Form dargestellt.

Ergebnisse: Aus 206 Studien wurden neunzehn Studien in den Review eingeschlossen. Die Studien betrafen entweder hypothetische Medizinprodukte oder existierende Produkte, nachdem sie bereits auf dem Markt erhältlich waren. Keine Studie nutzte die Extrapolation technischer Daten aus frühen Entwicklungsstufen, um den potentiellen Wert für die Gesellschaft zu evaluieren. Mit Ausnahme einer Studie schlossen alle Studien Kosten in die Evaluation ein. Zwei Studien waren Budget-Impakt-Analysen. Die meisten Studien zielten auf die Aufnahme in den Leistungskatalog und die Kostenerstattung der Medizinprodukte ab. Die Mehrheit der Studien betraf In-Vitro-Diagnostika für personalisierte und zielgerichtete Interventionen. Zeitgesteuerte Zustandsautomaten, ein Modelltyp, der bisher nicht im HTA genutzt wurde, wurden zur Beschreibung von komplexen, individuellen klinischen Pfaden und von Interaktionen dynamischer Systeme eingesetzt. Nicht alle Unsicherheitsquellen bei In-vitro-Tests wurden explizit modelliert. Das Einholen von Expertenwissen und Expertenbeurteilungen wurde als Ersatz für fehlende empirische Daten verwendet. Die Analyse der Unsicherheiten stellte den größten Vorteil der entscheidungsanalytischen Modellierung im frühen HTA dar, aber kein Modell wandte Sensitivitätsanalysen an, um den Schwellenwert für Testpositivität hinsichtlich der Nutzen-Schaden-Abwägung oder der Kosteneffektivität zu optimieren. Die Value-of-Information-Analyse wurde selten eingesetzt. Die Anwendung von Methoden der kausalen Inferenz zur Schätzung von Effektparametern aus Beobachtungsstudien wurde in keiner Studie erwähnt.

Schlussfolgerung: Unser Review gibt einen Überblick über Ziele und Modelleigenschaften von neunzehn Studien zur frühen Bewertung von Medizinprodukten. Der Review zeigt die wachsende Bedeutung der personalisierten Medizin und bestätigt frühere Empfehlungen der sorgfältigen Modellierung der mit diagnostischen Tests verbundenen Unsicherheiten und eines vermehrten Einsatzes der Value-of-Information-Analyse. Zeitgesteuerte Zustandsautomaten könnten eine lohnenswerte Erweiterung der Modelltypen im Rahmen der Technologiebewertung sein. Zusätzlich empfehlen wir die Anwendung von Sensitivitätsanalysen zur Optimierung des Schwellenwerts für Testpositivität hinsichtlich der Nutzen-Schaden-Relation oder der Kosteneffektivität. Wir betonen die Wichtigkeit der Anwendung von Methoden der kausalen Inferenz für die Schätzung von Effektparametern aus Beobachtungsdaten.

Keywords: cost-effectiveness analysis; decision-analytic modeling; early health technology assessment; medical devices.

PubMed Disclaimer

Conflict of interest statement

The authors declare that they have no competing interests. Beate Jahn and Uwe Siebert have been members of the ISPOR-SMDM Modeling Good Research Practices Task Force.

Figures

Table 1
Table 1. Overview of in-vitro diagnostic devices included in the review: type of test, setting, disease area of application, and whether the test aims at personalized treatment
Table 2
Table 2. Therapeutic devices – device, stage of development and framework of the model
Figure 1
Figure 1. PRISMA diagram for the selection of studies
See this image and copyright information in PMC

References

    1. Council Directive 90/385/EEC of 20 June 1990 on the approximation of the laws of the Member States relating to active implantable medical devices.
    1. Council Directive 93/42/EEC of 14 June 1993 concerning medical devices.
    1. Directive 98/79/EC of the European Parliament and of the Council of 27 October 1998 on in vitro diagnostic medical devices.
    1. Regulation (EU) 2017/745 of the European Parliament and of the Council of 5 April 2017 on medical devices, amending Directive 2001/83/EC, Regulation (EC) No 178/2002 and Regulation (EC) No 1223/2009 and repealing Council Directives 90/385/EEC and 93/42/EEC.
    1. Regulation (EU) 2017/746 of the European Parliament and of the Council of 5 April 2017 on in vitro diagnostic medical devices and repealing Directive 98/79/EC and Commission Decision 2010/227/EU.

Publication types

MeSH terms