Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2018 Nov 15;35(4):Doc48.
doi: 10.3205/zma001194. eCollection 2018.

Pilot evaluation of an objective structured assessment of technical skills tool for chest tube insertion

Mirco Friedrich  1 , Julian Ober  2 , Patrick Haubruck  2 , Christian Bergdolt  2 , Thomas Bruckner  3 , Karl-Friedrich Kowalewski  1 , Martina Kadmon  4 , Beat-Peter Müller-Stich  1 , Michael Christopher Tanner  2 , Felix Nickel  1
Affiliations

Pilot evaluation of an objective structured assessment of technical skills tool for chest tube insertion

Mirco Friedrich et al. GMS J Med Educ. .

Abstract
in English, German

Background: Chest tube insertion is a standard intervention for management of various injuries of the thorax. Efficient clinical training of this and similar bed-side procedures is equally demanded and improvable. Here, we propose a nouveau means of assessment and feedback using an Objective Structured Assessment of Technical Skills (OSATS) tool. The modified OSATS for chest drain insertion is evaluated in a pilot trial focusing on chest drain insertion. Methods: Participants in the pilot trial were medical students (3rd-6th year of studies, n=9), junior residents (1st-3rd post-graduate year, n=12), senior residents (4th-6th post-graduate year, n=14), and attending surgeons (n=6) from Heidelberg University. Chest drain insertions on a cadaveric porcine model were rated by experts with the modified OSATS score. Participants' performances were videotaped and subsequently rated by two remote experts (video rating). Primary aim was to assess criterion validity of the OSATS to distinguish experience levels. Results: Kruskal-Wallis test showed significant differences between means of scores between four groups stratified by previous experience in chest tube insertion (level 0: 22.1±3.2 vs. level 1: 26.8±2.8 vs. level 2: 35.4±2.2 vs. level 3: 41.0±2.0; p=0.002; p1,3=0.049, p0,3=0.005). However, if groups were stratified by formal professional level, no statistically significant distinction could be made using OSATS. Hence, the OSATS tool showed criterion validity for differentiation between experience levels. Conclusion: In the pilot study, the modified OSATS for chest tube insertion was apt to standardize expert rating and could be used to measure skill and to depict different experience levels. The OSATS will help facilitate training and assessment of chest drain insertion and could therefore improve surgical training for trauma situations. According to our data, the OSATS might be integrated into modern curricula.

Hintergrund: Die Thoraxdrainage ist ein etabliertes Standardverfahren zur Versorgung von Verletzungen des Thorax und der Lunge. Die effektive und zügige Anlage einer Thoraxdrainage setzt profunde Kenntnisse des Eingriffs voraus. Ein regelmäßiges Training sowie ein standardisiertes, objektives Feedback sind essentielle Voraussetzungen zur Sicherstellung einer optimalen Thoraxdrainagenanlage, auch unter Stresssituationen. Eine Möglichkeit zur Objektivierung und Strukturierung von Feedback besteht in der Anwendung von Assessment-Instrumenten wie dem Objective Structured Assessment of Technical Skill (OSATS). Ziel der vorliegenden Pilotstudie war die Evaluation eines modifizierten OSATS zur Thoraxdrainagenanlage hinsichtlich der Kriteriumsvalidität.Material und Methodik: In die vorliegende Pilotstudie wurden 41 Probanden eingeschlossen (Medizinstudierende (3.-6. Studienjahr) n=9, Assistenzärzte (1.-3. Ausbildungsjahr) n=12, Assistenzärzte (4.-6. Ausbildungsjahr) n=14, Fachärzte n=6. Die Stratifizierung der Probanden erfolgte nach formalem Ausbildungsstand sowie nach individueller Vorerfahrung im Bereich der Thoraxdrainagenanlage in jeweils 4 Gruppen (Level 0-3). Die Thoraxdrainagenanlage erfolgte an Schweinekadavern unter standardisierten Bedingungen. Die Bewertung der Trainingsperformance erfolgte mittels Videoaufzeichnungen des Eingriffs (Videorating) durch zwei unabhängige Rater anhand des modifiziertem OSATS zur Thoraxdrainagenanlage.Ergebnisse: Bei Stratifizierung nach Vorerfahrung der Probanden zeigten sich signifikante Unterschiede zwischen den Leistungen der vier Gruppen (Level 0: 22,1±3,2 vs. Level 1: 26,8±2,8 vs. Level 2: 35,4±2,2 vs. Level 3: 41.0±2,0; p=0.002; p0,3=0.005, p1,3=0.049,). Bei Stratifizierung nach formalem Ausbildungsstand zeigten sich hingegen keine signifikanten Unterschiede.Schlussfolgerung: Die Ergebnisse der Pilotstudie zeigen die Kriteriumsvalidität des OSATS aufgrund dessen Fähigkeit zur Diskriminierung verschiedener Erfahrungslevel. Weiterhin ermöglicht die Anwendung des OSATS durch standardisierte und objektive Bewertung möglicherweise eine Verbesserung der Ausbildung im Bereich der Thoraxdrainagenanlage und leistet so einen Beitrag zur Optimierung von Handlungsabläufen im Notfallmanagement von Lungen- und Thoraxverletzungen. Basierend auf unseren Ergebnissen scheint eine Integration dieses OSATS in moderne Ausbildungskonzepte sinnvoll.

Keywords: assesssment; chest tube insertion; education; hematothorax; pneumothorax; training.

PubMed Disclaimer

Figures

Table 1
Table 1. Objective structured assessment of technical skills score for chest tube insertion
Table 2
Table 2. Results of the pilot study
Figure 1
Figure 1. Results of the pilot study
See this image and copyright information in PMC

References

    1. Adler G, v. d. Knesebeck JH. [Shortage and need of physicians in Germany? Questions addressed to health services research]. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2011;54(2):228–237. doi: 10.1007/s00103-010-1208-7. http://dx.doi.org/10.1007/s00103-010-1208-7 (Ger). Available from: - DOI - DOI - PubMed
    1. Kasch R, Engelhardt M, Forch M, Merk H, Walcher F, Frohlich S. [Physician Shortage: How to Prevent Generation Y From Staying Away - Results of a Nationwide Survey]. Zentralbl Chir. 2016;141(2):190–196. (Ger). - PubMed
    1. Carter BN. The fruition of Halsted's concept of surgical training. Surgery. 1952;32(3):518–527. - PubMed
    1. Lomis K, Amiel JM, Ryan MS, Esposito K, Green M, Stagnaro-Green A, Bull J, Mejicano GC AAMC Core EPAs for Entering Residency Pilot Team. Implementing an Entrustable Professional Activities Framework in Undergraduate Medical Education: Early Lessons From the AAMC Core Entrustable Professional Activities for Entering Residency Pilot. Acad Med. 2017;92(6):765–770. doi: 10.1097/ACM.0000000000001543. http://dx.doi.org/10.1097/ACM.0000000000001543 Available from: - DOI - DOI - PubMed
    1. Brody H, Doukas D. Professionalism: a framework to guide medical education. Med Educ. 2014;48(10):980–987. doi: 10.1111/medu.12520. http://dx.doi.org/10.1111/medu.12520 Available from: - DOI - DOI - PubMed

Publication types

MeSH terms