古いCNNが最先端LLMを皮膚がん診断テストで上回る

2026年10月、コンサルタント皮膚科医であるMagnus Lynch博士は、10年前の畳み込みニューラルネットワーク（CNN）が、2つの主要な大規模言語モデル（LLM）よりも正確に皮膚がんを診断できることを示す結果を発表しました。このテストでは、ファインチューニングされたInception v3モデルと、GPT-6 AstraおよびClaude Fable 5.1を比較し、生検で確認された200件の皮膚病変を使用しました。専門的なCNNは62%の精度を達成し、両方の最先端LLMの42%という精度を大幅に上回りました。

何が起きたか

Lynch博士は、International Skin Imaging Collaborationが2025年に公開した公共コレクションであるMILK10kデータセットから、ランダムに200件の病変を選択しました。各病変は組織病理学によって確認されており、良性のものも含め、すべてのサンプルが生検済みでした。これにより、無害なほくろであっても臨床医が切除が必要だと判断するほど懸念を抱いたものばかりという、難しい診断セットが作成されました。このセットには、悪性黒色腫や癌腫などさらなる処置が必要な100件の病変と、良性母斑や脂漏性角化症など退院可能な100件の病変が含まれていました。

2つのLLM、すなわちGPT-6 AstraとClaude Fable 5.1には、各病変に対して臨床写真とダーモスコピー画像の両方が提供されました。これらのモデルには、6つの選択肢からの一次診断、信頼度スコア、二次選択、および退院推奨事項を提供することが求められました。両モデルともデフォルト設定で動作し、どのケースも拒否しませんでした。対照的に、CNNはGoogleが2015年に最初に発表したInception v3のバージョンです。これはISIC Archiveの68,011枚の画像を用いて単一のH100 GPUでファインチューニングされ、すべてのテストデータは訓練および検証セットから厳密に除外されました。

結果には明確な性能差が見られました。CNNは200件中125件で正しい一次診断を特定しましたが、GPT-6 AstraとClaude Fable 5.1はそれぞれ84件と85件しか正解できませんでした。第一または第二の選択のいずれかで正解を許容する場合、CNNは173件の正しい分類に達し、LLMはそれぞれ134件と138件にとどまりました。LLMはまた、特定のバイアスを示しました。GPT-6 Astraは悪性黒色腫を基底細胞癌として誤ってラベル付けすることが多く、Claude Fable 5.1は日光角化症を持つ病変と混同することが頻繁に見られました。

仕組み

Inception v3のような畳み込みニューラルネットワークは、視覚パターン認識専用に設計されています。それらはエッジ、テクスチャ、形状を検出するフィルタの層を通じて画像を処理し、視覚入力の階層的な理解を構築します。このテストでは、モデルは日常の写真で事前学習され、その後皮膚科画像でファインチューニングされました。モデルは臨床クローズアップとダーモスコピービューの両方を分析し、診断に不可欠な構造詳細を明らかにする拡大ビューであるダーモスコピー画像により大きな重みを付けました。

一方、大規模言語モデルは、膨大な量のテキストおよびマルチモーダルデータで訓練された汎用システムです。画像を解釈することはできますが、その主な強みは、専門的なピクセルレベルの分析ではなく、言語理解と生成にあります。このテストでは、LLMは同じデュアル画像入力を処理しましたが、CNNを定義するような視覚特徴に対する専門的なアーキテクチャ上の焦点がありませんでした。WebGPUを介してスマートフォンのブラウザ内で完全に実行できるCNNの能力は、最先端LLMに必要な巨大なインフラと比較して、その効率性と小さなフットプリントを強調しています。

主要な詳細

• データセット: MILK10kからの生検確認済みの200件の病変。危険なカテゴリと退院可能なカテゴリに均等に分割。
• テストされたモデル: GPT-6 Astra、Claude Fable 5.1、および2015年のファインチューニング済みInception v3 CNN。
• 精度: CNNは62%の正しい一次診断を達成。両方のLLMは42%を達成。
• 悪性黒色腫検出: CNNは30件の悪性黒色腫のうち13件を正しく識別。GPT-6 Astraは8件、Claude Fable 5.1は11件を識別。
• バイアス: GPT-6 Astraは14件の悪性黒色腫を基底細胞癌として誤分類。Claude Fable 5.1は日光角化症の診断を好む傾向を示した。
• 効率: CNNはWebGPUを使用してモバイルブラウザ内でローカルに実行され、データアップロードを必要としない。

なぜ重要なのか

医療用または視覚診断ツールを構築するエンジニアにとって、この研究はモデルの専門化の重要性を浮き彫りにします。最先端LLMは広範な機能を提供しますが、病理学のような高リスクでドメイン固有のタスクに必要な精度が欠如している可能性があります。結果は、関連性の高い高品質なデータでファインチューニングされた場合、古いが専門的なアーキテクチャが依然として汎用モデルを上回る可能性があることを示唆しています。これは、新しい大型モデルがあらゆるAIアプリケーションにとって常に最善の選択であるという前提に挑戦します。

この発見はまた、汎用モデルにおける信頼性とバイアスの問題も強調しています。実際の病変タイプに関係なく特定の診断を好むLLMの傾向は、臨床環境での系統的エラーのリスクを示しています。開発者にとって、これは重要な意思決定支援のために既製のLLMだけに頼ると、危険な不正確さが導入される可能性があることを意味します。古い技術に基づく専門モデルであっても、狭く明確に定義されたタスクに対しては、より予測可能で正確なパフォーマンスを提供する場合があります。

あなたができること

• あなたの視覚タスクが汎用LLMではなく専門モデルを必要とするかどうかを評価してください。
• ゼロショットプロンプティングよりも精度を向上させるために、キュレーションされたドメイン固有のデータセットをファインチューニングに使用してください。
• ヘルスケアのような高リスクアプリケーションでは、モデル出力の系統的バイアスをテストしてください。
• レイテンシーとプライバシーが懸念されるエッジ展開では、軽量で専門的なモデルを検討してください。
• 生検確認済みサンプルなどの難しいケースだけでなく、モデルのパフォーマンスを検証してください。
• 新しいモデルとの比較のためのベースラインとして、古いが実績のあるアーキテクチャをツールキットに残しておいてください。