Una CNN antigua supera a los LLM de frontera en pruebas de diagnóstico de cáncer de piel

En octubre de 2026, el Dr. Magnus Lynch, dermatólogo consultor, publicó resultados que mostraban que una red neuronal convolucional (CNN) con una década de antigüedad diagnosticaba el cáncer de piel con mayor precisión que dos modelos grandes de lenguaje (LLM) líderes. La prueba comparó un modelo Inception v3 ajustado finamente contra GPT-6 Astra y Claude Fable 5.1 utilizando 200 lesiones cutáneas confirmadas por biopsia. La CNN especializada logró una tasa de precisión del 62%, superando significativamente el 42% de precisión de ambos LLM de frontera.

Qué sucedió

El Dr. Lynch seleccionó 200 lesiones al azar del conjunto de datos MILK10k, una colección pública publicada por la International Skin Imaging Collaboration en 2025. Cada lesión había sido confirmada mediante histopatología, lo que significa que todas las muestras, incluidas las benignas, habían sido biopsiadas. Esto creó un conjunto de diagnóstico difícil, ya que incluso los lunares inofensivos eran aquellos que habían preocupado lo suficiente a los clínicos como para justificar su extirpación. El conjunto incluía 100 lesiones que requerían acciones adicionales, como melanomas y carcinomas, y 100 seguras para dar de alta, como nevos benignos y queratosis seborreicas.

A los dos LLM, GPT-6 Astra y Claude Fable 5.1, se les proporcionaron tanto una fotografía clínica como una imagen dermatoscópica para cada lesión. Se les pidió que ofrecieran un diagnóstico primario entre seis opciones, una puntuación de confianza, una elección secundaria y una recomendación de alta. Ambos modelos operaron con configuraciones predeterminadas y no rechazaron ningún caso. En contraste, la CNN era una versión de Inception v3, publicada originalmente por Google en 2015. Fue ajustada finamente sobre 68.011 imágenes del ISIC Archive usando una sola GPU H100, excluyendo estrictamente todos los datos de prueba de los conjuntos de entrenamiento y validación.

Los resultados mostraron una clara brecha de rendimiento. La CNN identificó correctamente el diagnóstico primario para 125 de las 200 lesiones, mientras que GPT-6 Astra y Claude Fable 5.1 acertaron solo 84 y 85 veces, respectivamente. Al permitir una respuesta correcta en la primera o segunda opción, la CNN alcanzó 173 clasificaciones correctas, frente a 134 y 138 para los LLM. Los LLM también exhibieron sesgos específicos, con GPT-6 Astra etiquetando frecuentemente mal los melanomas como carcinoma basocelular y Claude Fable 5.1 confundiendo a menudo las lesiones con queratosis actínica.

Cómo funciona

Las redes neuronales convolucionales como Inception v3 están diseñadas específicamente para el reconocimiento de patrones visuales. Procesan imágenes a través de capas de filtros que detectan bordes, texturas y formas, construyendo una comprensión jerárquica de la entrada visual. Para esta prueba, el modelo fue preentrenado en fotografías cotidianas y luego ajustado finamente en imágenes dermatológicas. Analizó tanto el primer plano clínico como la vista dermatoscópica, dando mayor peso a la imagen dermatoscópica, ya que esta vista ampliada revela detalles estructurales críticos para el diagnóstico.

Por el contrario, los modelos grandes de lenguaje son sistemas de propósito general entrenados en vastas cantidades de texto y datos multimodales. Aunque pueden interpretar imágenes, su principal fortaleza radica en la comprensión y generación del lenguaje, más que en el análisis especializado a nivel de píxel. En esta prueba, los LLM procesaron las mismas entradas de doble imagen, pero carecían del enfoque arquitectónico especializado en características visuales que define a una CNN. La capacidad de la CNN para ejecutarse completamente en un navegador de teléfono mediante WebGPU destaca su eficiencia y pequeña huella en comparación con la infraestructura masiva requerida por los LLM de frontera.

Detalles clave

• Conjunto de datos: 200 lesiones confirmadas por biopsia de MILK10k, divididas equitativamente entre categorías inseguras y seguras para el alta.
• Modelos probados: GPT-6 Astra, Claude Fable 5.1 y una CNN Inception v3 de 2015 ajustada finamente.
• Precisión: La CNN logró un 62% de diagnósticos primarios correctos; ambos LLM lograron un 42%.
• Detección de melanoma: La CNN identificó correctamente 13 de 30 melanomas, mientras que GPT-6 Astra identificó 8 y Claude Fable 5.1 identificó 11.
• Sesgo: GPT-6 Astra clasificó erróneamente 14 melanomas como carcinoma basocelular; Claude Fable 5.1 mostró una preferencia por los diagnósticos de queratosis actínica.
• Eficiencia: La CNN se ejecuta localmente en un navegador móvil usando WebGPU, sin necesidad de subir datos.

Por qué importa

Para los ingenieros que desarrollan herramientas médicas o de diagnóstico visual, este estudio subraya la importancia de la especialización del modelo. Si bien los LLM de frontera ofrecen capacidades amplias, pueden carecer de la precisión requerida para tareas críticas y específicas de dominio como la patología. Los resultados sugieren que las arquitecturas más antiguas y especializadas aún pueden superar a los modelos generalistas cuando se ajustan finamente en datos relevantes y de alta calidad. Esto desafía la suposición de que los modelos más nuevos y grandes siempre son la mejor opción para cada aplicación de IA.

Los hallazgos también destacan problemas de confiabilidad y sesgo en los modelos generalistas. La tendencia de los LLM a favorecer ciertos diagnósticos independientemente del tipo real de lesión indica un riesgo de error sistemático en entornos clínicos. Para los desarrolladores, esto significa que depender únicamente de LLM comerciales para el apoyo a decisiones críticas podría introducir imprecisiones peligrosas. Los modelos especializados, incluso si se basan en tecnología más antigua, pueden ofrecer un rendimiento más predecible y preciso para tareas estrechas y bien definidas.

Qué puedes hacer

• Evalúa si tu tarea de visión requiere un modelo especializado en lugar de un LLM generalista.
• Utiliza conjuntos de datos curados y específicos del dominio para el ajuste fino para mejorar la precisión sobre el prompting cero-shot.
• Prueba sesgos sistemáticos en las salidas del modelo, especialmente en aplicaciones de alto riesgo como la atención sanitaria.
• Considera modelos ligeros y especializados para despliegues en el borde donde la latencia y la privacidad son preocupaciones.
• Valida el rendimiento del modelo en casos difíciles, como muestras confirmadas por biopsia, no solo en ejemplos fáciles.
• Mantén arquitecturas antiguas y probadas en tu caja de herramientas como líneas base para comparar con nuevos modelos.