Simple Rules, Not So Simple: The Use of International Ovarian Tumor Analysis (IOTA) Terminology and Simple Rules in Inexperienced Hands in a Prospective Multicenter Cohort Study
- PMID: 28834973
- DOI: 10.1055/s-0043-113819
Simple Rules, Not So Simple: The Use of International Ovarian Tumor Analysis (IOTA) Terminology and Simple Rules in Inexperienced Hands in a Prospective Multicenter Cohort Study
Abstract
Objectives: To analyze how well untrained examiners - without experience in the use of International Ovarian Tumor Analysis (IOTA) terminology or simple ultrasound-based rules (simple rules) - are able to apply IOTA terminology and simple rules and to assess the level of agreement between non-experts and an expert.
Methods: This prospective multicenter cohort study enrolled women with ovarian masses. Ultrasound was performed by non-expert examiners and an expert. Ultrasound features were recorded using IOTA nomenclature, and used for classifying the mass by simple rules. Interobserver agreement was evaluated with Fleiss' kappa and percentage agreement between observers.
Results: 50 consecutive women were included. We observed 46 discrepancies in the description of ovarian masses when non-experts utilized IOTA terminology. Tumor type was misclassified often (n = 22), resulting in poor interobserver agreement between the non-experts and the expert (kappa = 0.39, 95 %-CI 0.244 - 0.529, percentage of agreement = 52.0 %). Misinterpretation of simple rules by non-experts was observed 57 times, resulting in an erroneous diagnosis in 15 patients (30 %). The agreement for classifying the mass as benign, malignant or inconclusive by simple rules was only moderate between the non-experts and the expert (kappa = 0.50, 95 %-CI 0.300 - 0.704, percentage of agreement = 70.0 %). The level of agreement for all 10 simple rules features varied greatly (kappa index range: -0.08 - 0.74, percentage of agreement 66 - 94 %).
Conclusion: Although simple rules are useful to distinguish benign from malignant adnexal masses, they are not that simple for untrained examiners. Training with both IOTA terminology and simple rules is necessary before simple rules can be introduced into guidelines and daily clinical practice.
ZIEL: Analyse, ob ungeübte Anwender – ohne Erfahrung mit der „International Ovarian Tumor Analysis“ (IOTA)- Terminologie oder einfache ultraschallbasierten Regeln („Simple Rules“) – in der Lage sind, IOTA-Kriterien und „Simple Rules“ anzuwenden. Auch wird der Grad der Übereinstimmung zwischen Nichtexperten und Experten bewertet.
Methoden: Diese prospektive multizentrische Kohortenstudie nahm Frauen mit ovarialen Raumforderungen auf. Die Sonografie wurde von Nichtexperten und einem Experten durchgeführt. Ultraschall-Kriterien wurden mittels IOTA-Nomenklatur dokumentiert und dann für die Klassifizierung der Raumforderung mittels „Simple Rules“ verwendet. Die Intraobserver-Übereinstimmung zwischen den Beobachtern wurde durch Fleiss-Kappa und prozentualer Übereinstimmung bewertet.
Ergebnisse: Eingeschlossen wurden 50 aufeinander folgende Frauen. Wir beobachteten 46 Diskrepanzen bei der Beschreibung der ovarialen Raumforderungen, wenn Nichtexperten die IOTA-Terminologie benutzten. Der Tumortyp wurde häufig falsch klassifiziert (n = 22), was zu einer schlechten Interobserver-Übereinstimmung zwischen Nichtexperten und Experten führte (Kappa = 0,39; 95 %-CI 0,244 – 0,529; prozentuale Übereinstimmung = 52,0 %). Eine Falschinterpretation der „Simple Rules“ durch Nichtexperten wurde 57 Mal beobachtet und führte bei 15 Patienten (30 %) zu einer Falschdiagnose. Die Übereinstimmung bei der Klassifizierung einer Raumforderung als gutartig, maligne oder nicht eindeutig durch die „Simple Rules“ war zwischen Nichtexperten und Experten nur mittelmäßig (Kappa = 0,50; 95 %-CI 0,300 – 0,704; prozentuale Übereinstimmung = 70,0 %). Der Grad der Übereinstimmung bei allen 10 „Simple Rules“-Kriterien variierte enorm (Kappa-Index-Bereich: -0,08 – 0,74; prozentuale Übereinstimmung 66 – 94 %).
Schlussfolgerung: Obwohl die „Simple Rules“ nützlich sind, um benigne und maligne adnexale Raumforderungen zu unterscheiden, sind diese für ungeübte Untersucher nicht so einfach zu handhaben. Schulungen die sowohl IOTA-Terminologie als auch „Simple Rules“, zum Inhalt haben sind notwendig, noch ehe „Simple Rules“ in Leitlinien und den Praxisalltag Eingang finden.
© Georg Thieme Verlag KG Stuttgart · New York.
Conflict of interest statement
Disclosure The authors report no conflicts of interest in this work.
Publication types
MeSH terms
LinkOut - more resources
Full Text Sources
Other Literature Sources
Medical
