Alte CNN schlägt Frontier-LLMs bei Hautkrebs-Diagnose

Im Oktober 2026 veröffentlichte Dr. Magnus Lynch, ein beratender Dermatologe, Ergebnisse, die zeigten, dass ein zehn Jahre altes Convolutional Neural Network (CNN) Hautkrebs genauer diagnostizierte als zwei führende Large Language Models. Der Test verglich ein feinabgestimmtes Inception-v3-Modell mit GPT-6 Astra und Claude Fable 5.1 anhand von 200 biopsiegesicherten Hautläsionen. Das spezialisierte CNN erreichte eine Genauigkeit von 62 % und übertraf damit die Genauigkeit von 42 %, die beide Frontier-LLMs erzielten.

Was geschah

Dr. Lynch wählte 200 zufällige Läsionen aus dem MILK10k-Datensatz aus, einer öffentlichen Sammlung, die 2025 von der International Skin Imaging Collaboration veröffentlicht wurde. Jede Läsion war histopathologisch bestätigt worden, was bedeutet, dass jede Probe, einschließlich gutartiger, biopsiert worden war. Dies schuf einen schwierigen diagnostischen Satz, da selbst harmlose Muttermale solche waren, die Kliniker genug beunruhigt hatten, um ihre Entfernung zu rechtfertigen. Der Satz umfasste 100 Läsionen, die weitere Maßnahmen erforderten, wie Melanome und Karzinome, sowie 100, die zur Entlassung sicher waren, wie benigne Nävi und seborrhoische Keratosen.

Den beiden LLMs, GPT-6 Astra und Claude Fable 5.1, wurden für jede Läsion sowohl ein klinisches Foto als auch ein dermatoskopisches Bild bereitgestellt. Sie wurden aufgefordert, eine Erstdiagnose aus sechs Optionen, einen Konfidenzwert, eine sekundäre Wahl und eine Entlassungsempfehlung anzugeben. Beide Modelle arbeiteten mit Standardeinstellungen und lehnten keine Fälle ab. Im Gegensatz dazu war das CNN eine Version von Inception v3, die ursprünglich 2015 von Google veröffentlicht wurde. Es wurde auf 68.011 Bildern aus dem ISIC-Archiv unter Verwendung einer einzigen H100-GPU feinabgestimmt, wobei alle Testdaten streng aus den Trainings- und Validierungssets ausgeschlossen wurden.

Die Ergebnisse zeigten eine klare Leistungslücke. Das CNN identifizierte die Erstdiagnose korrekt bei 125 der 200 Läsionen, während GPT-6 Astra und Claude Fable 5.1 nur 84 bzw. 85 Mal richtig lagen. Wenn man eine korrekte Antwort in der ersten oder zweiten Wahl zuließ, erreichte das CNN 173 korrekte Klassifikationen, im Vergleich zu 134 und 138 für die LLMs. Die LLMs zeigten auch spezifische Verzerrungen, wobei GPT-6 Astra Melanome häufig als Basalzellkarzinom falsch etikettierte und Claude Fable 5.1 Läsionen oft mit aktinischer Keratose verwechselte.

Wie es funktioniert

Convolutional Neural Networks wie Inception v3 sind speziell für die visuelle Mustererkennung konzipiert. Sie verarbeiten Bilder durch Schichten von Filtern, die Kanten, Texturen und Formen erkennen, und bauen so ein hierarchisches Verständnis des visuellen Inputs auf. Für diesen Test wurde das Modell auf Alltagsfotos vorab trainiert und dann auf dermatologische Bilder feinabgestimmt. Es analysierte sowohl die klinische Nahaufnahme als auch die dermatoskopische Ansicht, wobei das dermatoskopische Bild höher gewichtet wurde, da diese vergrößerte Ansicht strukturelle Details offenbart, die für die Diagnose entscheidend sind.

Large Language Models hingegen sind universelle Systeme, die auf riesigen Mengen an Text- und multimodalen Daten trainiert wurden. Zwar können sie Bilder interpretieren, aber ihre primäre Stärke liegt im Sprachverständnis und in der Sprachgenerierung, nicht in der spezialisierten Pixel-Level-Analyse. In diesem Test verarbeiteten die LLMs dieselben Dual-Bild-Eingaben, verfügten jedoch nicht über den spezialisierten architektonischen Fokus auf visuelle Merkmale, der ein CNN definiert. Die Fähigkeit des CNNs, vollständig in einem Telefonbrowser über WebGPU ausgeführt zu werden, unterstreicht seine Effizienz und seinen kleinen Footprint im Vergleich zur massiven Infrastruktur, die für Frontier-LLMs erforderlich ist.

Wichtige Details

• Datensatz: 200 biopsiegesicherte Läsionen aus MILK10k, gleichmäßig aufgeteilt in unsichere und zur Entlassung sichere Kategorien.
• Getestete Modelle: GPT-6 Astra, Claude Fable 5.1 und ein feinabgestimmtes Inception-v3-CNN aus dem Jahr 2015.
• Genauigkeit: Das CNN erreichte 62 % korrekte Erstdiagnosen; beide LLMs erreichten 42 %.
• Melanom-Erkennung: Das CNN identifizierte 13 von 30 Melanomen korrekt, während GPT-6 Astra 8 und Claude Fable 5.1 11 identifizierte.
• Verzerrung: GPT-6 Astra klassifizierte 14 Melanome falsch als Basalzellkarzinom; Claude Fable 5.1 zeigte eine Präferenz für Diagnosen der aktinischen Keratose.
• Effizienz: Das CNN läuft lokal in einem mobilen Browser unter Verwendung von WebGPU und erfordert keinen Datenupload.

Warum es wichtig ist

Für Ingenieure, die medizinische oder visuelle Diagnosewerkzeuge entwickeln, unterstreicht diese Studie die Bedeutung der Modellspezialisierung. Während Frontier-LLMs breite Fähigkeiten bieten, fehlt ihnen möglicherweise die Präzision, die für risikoreiche, domänenspezifische Aufgaben wie die Pathologie erforderlich ist. Die Ergebnisse deuten darauf hin, dass ältere, spezialisierte Architekturen Generalistenmodelle immer noch übertreffen können, wenn sie auf relevanten, hochwertigen Daten feinabgestimmt werden. Dies stellt die Annahme infrage, dass neuere, größere Modelle immer die beste Wahl für jede KI-Anwendung sind.

Die Erkenntnisse heben auch Probleme mit Zuverlässigkeit und Verzerrung bei Generalistenmodellen hervor. Die Tendenz der LLMs, bestimmte Diagnosen unabhängig vom tatsächlichen Läsionstyp zu bevorzugen, deutet auf das Risiko systematischer Fehler im klinischen Umfeld hin. Für Entwickler bedeutet dies, dass sich allein auf Standard-LLMs für kritische Entscheidungsunterstützung zu verlassen, gefährliche Ungenauigkeiten einführen könnte. Spezialisierte Modelle, selbst wenn sie auf älterer Technologie basieren, können für enge, klar definierte Aufgaben eine vorhersehbarere und genauere Leistung bieten.

Was Sie tun können

• Bewerten Sie, ob Ihre Vision-Aufgabe ein spezialisiertes Modell anstelle eines Generalisten-LLM erfordert.
• Verwenden Sie kuratierte, domänenspezifische Datensätze für das Fine-Tuning, um die Genauigkeit gegenüber Zero-Shot-Prompting zu verbessern.
• Testen Sie auf systematische Verzerrungen in den Modellausgaben, insbesondere bei risikoreichen Anwendungen wie im Gesundheitswesen.
• Erwägen Sie leichte, spezialisierte Modelle für Edge-Bereitstellungen, wo Latenz und Datenschutz Bedenken sind.
• Validieren Sie die Modellleistung bei schwierigen Fällen, wie z. B. biopsiegesicherten Proben, nicht nur bei einfachen Beispielen.
• Behalten Sie ältere, bewährte Architekturen in Ihrem Toolkit als Baselines für den Vergleich mit neuen Modellen.