Kollektive menschliche Intelligenz übertrifft künstliche Intelligenz in einem Quiz zur Klassifizierung von Hautläsionen

Abstract

Hintergrund und ziele: Faltende neuronale Netzwerke (CNN) ermöglichen eine exakte Diagnose medizinischer Bilder und erzielen eine vergleichbare oder überlegene Leistung gegenüber Ärzten. Kürzlich wurde eine diagnostische Überlegenheit der kollektiven menschlichen Intelligenz (CoHI, Mehrheitsvotum) gegenüber einzelnen Ärzten gezeigt. In unserer Arbeit wurde die diagnostische Leistung der CoHI (120 Dermatologen) gegenüber individuellen Dermatologen gegenüber zwei hochmodernen CNN untersucht.

Patienten und methoden: Querschnittstudie mit Präsentation von 30 klinisch/dermatoskopischen Fällen an 120 Dermatologen. Sechs Diagnosen standen zur Auswahl. Antworten wurden über Abstimmungsgeräte erhoben (quizzbox^® , Quizzbox Solutions GmbH, Stuttgart, Deutschland). Dermatoskopische Bilder wurden mit einem binären und einem Multiklassen-CNN klassifiziert (beide FotoFinder Systems GmbH, Bad Birnbach, Deutschland). Die diagnostische Leistung dreier diagnostischer Gruppen wurde bestimmt: (1) CoHI, (2) individuelle Dermatologen und (3) CNN.

Ergebnisse: Bei binärer Klassifizierung erreichte CoHI eine signifikant höhere diagnostische Genauigkeit [95 %-Konfidenzintervall] (80,0 % [62,7 %-90,5 %]) gegenüber individuellen Dermatologen (75,7 % [73,8 %-77,5 %]) und CNN (70,0 % [52,1 %-83,3 %]; alle P < 0,001). Außerdem erreichte CoHI eine höhere Sensitivität (82,4 % [59,0 %-93,8 %]) und Spezifität (76,9 % [49,7 %-91,8 %]) gegenüber individuellen Dermatologen (Sensitivität 77,8 % [75,3 %-80,2 %], Spezifität 73,0 % [70,6 %-75,4 %]) und CNN (Sensitivität 70,6 % [46,9 %-86,7 %], Spezifität 69,2 % [42,4 %-87,3 %]). Bei Multiklassen-Auswertung war die diagnostische Genauigkeit von CoHI derjenigen individueller Dermatologen überlegen (P < 0,001), die wiederum eine dem Multiklassen-CNN vergleichbare Genauigkeit erzielten.

Schlussfolgerungen: In einem anspruchsvollen Quiz zur Diagnose von Hautläsionen war das Mehrheitsvotum einer Gruppe von Dermatologen (CoHI) dem Ergebnis einzelner Ärzte sowie zweier CNN überlegen.