Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
Review
. 2020 Oct 4;4(6):1072-1083.
doi: 10.1002/bjs5.50358. Online ahead of print.

Outcome selection, measurement and reporting for new surgical procedures and devices: a systematic review of IDEAL/IDEAL-D studies to inform development of a core outcome set

R C Macefield  1 , N Wilson  1 , C Hoffmann  1 , J M Blazeby  1 , A G K McNair  1   2 , K N L Avery  1 , S Potter  1   3
Affiliations
Review

Outcome selection, measurement and reporting for new surgical procedures and devices: a systematic review of IDEAL/IDEAL-D studies to inform development of a core outcome set

R C Macefield et al. BJS Open. .

Abstract
in English, Spanish

Background: Outcome selection, measurement and reporting for the evaluation of new surgical procedures and devices is inconsistent and lacks standardization. A core outcome set may promote the safe and transparent evaluation of surgical innovations. This systematic review examined outcome selection, measurement and reporting in studies conducted within the IDEAL (Idea, Development, Exploration, Assessment and Long-term monitoring) framework to examine current practice and inform the development of a core outcome set for early-phase studies of surgical procedures/devices.

Methods: Web of Science and Scopus citation searches were performed to identify author-reported IDEAL/IDEAL-D studies for any surgical procedure/device. Outcomes were extracted verbatim, including contextual information regarding outcome selection and measurement. Outcomes were categorized to inform a conceptual framework of outcome domains relevant to evaluating innovation.

Results: Some 48 studies were identified. Outcome selection, measurement and reporting varied widely across studies in different IDEAL stages. From 1737 outcomes extracted, 22 domains specific to evaluating innovation were conceptualized under seven broad categories: procedure completion success/failure; modifications; unanticipated events; surgeons' experiences; patients' experiences; resource use specific to the innovative procedure/device; and other innovation-specific outcomes. Most innovation-specific outcomes were measured and reported in only a small number of studies.

Conclusion: This review highlighted the need for guidance and standardization in outcome selection and reporting in the evaluation of new surgical procedures/devices. Novel outcome domains specific to innovation have been identified to establish a core outcome set for future evaluations of surgical innovations.

Antecedentes: La selección de resultados, mediciones y redacción de los informes para la evaluación de nuevos procedimientos y dispositivos quirúrgicos es inconsistente y carece de estandarización. Determinar un conjunto de resultados básicos (core outcome set, COS) podría contribuir a la transparencia y seguridad de las evaluaciones de las innovaciones quirúrgicas. Esta revisión sistemática analizó la selección de resultados, medición de los mismos e informes de estudios efectuados en el marco metodológico IDEAL, a fin de valorar la práctica actual y presentar el desarrollo de un COS para estudios en fase inicial de procedimientos/dispositivos quirúrgicos. MÉTODOS: Se realizaron búsquedas en las bases de datos Web of Science y Scopus para identificar estudios efectuados por los autores en el marco IDEAL/IDEAL-D referentes a cualquier procedimiento/dispositivo quirúrgico. Los resultados se extrajeron literalmente, incluida la información contextualizada referente a la selección y medición de los resultados. Los resultados se categorizaron para presentar información en un marco conceptual de dominios de resultados que fueran relevantes para poder evaluar la innovación.

Resultados: Se identificaron 48 estudios. Los estudios mostraban una amplia variedad en la selección de resultados, mediciones e información correspondientes a diferentes estadios IDEAL. A partir de 1.737 resultados extraídos, se conceptualizaron 22 dominios específicos para evaluar la innovación agrupados en 7 amplias categorías: éxito/fracaso para completar el procedimiento; modificaciones; eventos imprevistos; experiencias de los cirujanos; experiencias de los pacientes; uso de recursos específicos del procedimiento/dispositivo innovador y otros resultados específicos de la innovación. La mayoría de los resultados específicos de la innovación se midieron y notificaron solo en un pequeño número de estudios. CONCLUSIÓN: Esta revisión ha puesto de manifiesto la necesidad de orientación y estandarización en la selección de resultados y la notificación en la evaluación de nuevos procedimientos/dispositivos quirúrgicos. Se han identificado nuevos dominios de resultados específicos de innovación para establecer un COS para futuras evaluaciones de innovaciones quirúrgicas.

PubMed Disclaimer

Figures

Fig. 1
Fig. 1
PRISMA diagram showing selection of articles for review
See this image and copyright information in PMC

Similar articles

See all similar articles

Cited by

See all "Cited by" articles

References

    1. Heneghan C, Aronson JK, Goldacre B, Mahtani KR, Pluddemann A, Onakpoya I. Transvaginal mesh failure: lessons for regulation of implantable devices. BMJ 2017; 359: j5515. - PubMed
    1. Cohen D.How safe are metal‐on‐metal hip implants? BMJ 2012; 344: e1410. - PubMed
    1. Williamson PR, Altman DG, Blazeby JM, Clarke M, Devane D, Gargon Eet al. Developing core outcome sets for clinical trials: issues to consider. Trials 2012; 13: 132. - PMC - PubMed
    1. Dodd S, Clarke M, Becker L, Mavergames C, Fish R, Williamson PR. A taxonomy has been developed for outcomes in medical research to help improve knowledge discovery. J Clin Epidemiol 2018; 96: 84–92. - PMC - PubMed
    1. Williamson PR, Altman DG, Bagley H, Barnes KL, Blazeby JM, Brookes STet al. The COMET handbook: version 1.0. Trials 2017; 18: 280. - PMC - PubMed