NVIDIA Nemotron 3.5 Super VL llega a SageMaker con un contexto de 1M de tokens

Amazon Web Services anunció el 9 de noviembre de 2026 que NVIDIA Nemotron 3.5 Super VL está disponible para su despliegue a través de Amazon SageMaker JumpStart. Este lanzamiento ofrece a los ingenieros acceso inmediato a un modelo de visión-lenguaje de alta capacidad diseñado para tareas multimodales complejas, incluyendo la inteligencia documental y la comprensión de video.

Qué ocurrió

El nuevo modelo se une a la familia NVIDIA Nemotron 3.5 como su componente dedicado de visión-lenguaje. Acepta imágenes, video y texto como entradas y genera respuestas de texto. La arquitectura combina una enorme columna vertebral de lenguaje híbrida Mixture-of-Experts de 120 mil millones de parámetros con un codificador de visión especializado C-RADIO. A pesar de su tamaño total, el modelo activa solo 12 mil millones de parámetros por token, equilibrando la carga computacional con el rendimiento.

SageMaker JumpStart ofrece dos variantes distintas para adaptarse a diferentes necesidades de ingeniería. La opción predeterminada es NVFP4, una versión cuantificada optimizada para latencia y rendimiento en hardware GPU más reciente. La segunda opción proporciona pesos de referencia de precisión completa BF16, destinada a equipos que planean realizar personalizaciones adicionales, como ajuste fino supervisado o adaptación de dominio. Ambas variantes admiten longitudes de contexto de hasta un millón de tokens, lo que permite el procesamiento de documentos extensos o secuencias largas de video.

El proceso de despliegue se simplifica mediante SageMaker Studio o el SDK de Python de SageMaker. Los ingenieros pueden seleccionar la ficha del modelo, elegir su tipo de instancia preferido y desplegar el endpoint en aproximadamente diez minutos. El servicio expone una API de completados de chat impulsada por vLLM, permitiendo a los desarrolladores integrar el modelo utilizando formatos de solicitud familiares mientras manejan las entradas multimedia como URLs de datos codificadas en base64.

Cómo funciona

Nemotron 3.5 Super VL utiliza una arquitectura híbrida que intercala capas Mamba-2 y Mixture-of-Experts dentro de su columna vertebral de lenguaje de 88 capas. Este diseño permite al modelo enrutar tareas a expertos específicos, activando solo un subconjunto de sus 512 expertos disponibles para cualquier token dado. Una cabeza compartida de Predicción Multi-Token soporta la decodificación especulativa, aunque esta función no está habilitada en la configuración de servicio predeterminada de JumpStart. El codificador de visión procesa imágenes y fotogramas de video muestreados, mapeándolos al espacio de incrustación de la columna vertebral de lenguaje mediante un conector de visión-lenguaje.

Para la inferencia, el modelo distingue entre tareas intensivas en razonamiento y extracción directa. El razonamiento está habilitado por defecto, permitiendo al modelo pensar a través de problemas complejos antes de responder. Los desarrolladores pueden deshabilitar esta función para tareas más simples como el reconocimiento óptico de caracteres (OCR) o la extracción JSON para reducir la latencia. La variante NVFP4 utiliza pesos y activaciones de 4 bits en GPUs Blackwell, manteniendo los componentes de visión en mayor precisión para conservar la exactitud mientras reduce la huella de memoria.

Detalles clave

• Arquitectura: 120B de parámetros totales con 12B activos por token, utilizando una columna vertebral híbrida Mamba-2 y MoE.
• Ventana de contexto: Admite hasta 1 millón de tokens, con configuraciones de servicio que van desde 520 hasta 15,600 tokens.
• Variantes: NVFP4 para inferencia optimizada en instancias G7 y BF16 para personalización en instancias P5en.
• Entradas: Acepta texto, imágenes y clips de video MP4 cortos, con medios proporcionados como URLs de datos codificadas en base64.
• Idiomas: Admite inglés, francés, alemán, italiano, japonés, español y chino.
• Licencia: Lanzada bajo el Acuerdo de Licencia OpenMDW, versión 1.1.

Por qué importa

Para los creadores de software, la disponibilidad de este modelo en SageMaker JumpStart reduce la barrera de entrada para aplicaciones multimodales avanzadas. La capacidad de procesar contextos largos significa que los ingenieros pueden construir agentes que analicen manuales técnicos completos, contratos legales o registros de video extensos sin dividirlos en fragmentos arbitrarios. Esto reduce la complejidad de la lógica de la aplicación y mejora la coherencia de las respuestas del modelo a través de grandes conjuntos de datos.

La distinción entre las variantes NVFP4 y BF16 también ofrece flexibilidad estratégica. Los equipos centrados en la inferencia en producción pueden aprovechar el modelo NVFP4 cuantificado en instancias G7 rentables para lograr baja latencia. Mientras tanto, los equipos de investigación y desarrollo pueden usar los pesos BF16 para ajustar finamente el modelo para verticales industriales específicas, como salud o finanzas, antes de desplegar una versión personalizada. Este enfoque dual soporta tanto el prototipado rápido como la especialización profunda.

Lo que puedes hacer

• Solicita aumentos de cuota de servicio para instancias ml.g7.24xlarge o ml.p5en.48xlarge en tu cuenta de AWS antes de intentar el despliegue.
• Usa el SDK de Python de SageMaker v3.25 o posterior para automatizar el proceso de despliegue y gestionar las configuraciones del endpoint programáticamente.
• Renderiza páginas PDF a imágenes PNG antes de enviarlas al modelo, ya que el endpoint no acepta archivos PDF sin procesar directamente.
• Deshabilita el razonamiento mediante enable_thinking=False para tareas de extracción directas para mejorar la velocidad de respuesta y reducir el uso de tokens.
• Establece max_tokens en al menos 8,192 cuando realices análisis de video con razonamiento habilitado para asegurar que el modelo tenga espacio suficiente para procesar los datos visuales.
• Prueba primero la variante NVFP4 en instancias ml.g7.24xlarge para evaluar el rendimiento base antes de escalar a configuraciones de hardware más grandes.