NVIDIA Nemotron 3.5 Super VL arrive sur SageMaker avec un contexte de 1 million de tokens

Amazon Web Services a annoncé le 9 novembre 2026 que NVIDIA Nemotron 3.5 Super VL est disponible pour le déploiement via Amazon SageMaker JumpStart. Cette version offre aux ingénieurs un accès immédiat à un modèle vision-langage à haute capacité conçu pour des tâches multimodales complexes, notamment l'intelligence documentaire et la compréhension vidéo.

Ce qui s'est passé

Le nouveau modèle rejoint la famille NVIDIA Nemotron 3.5 en tant que composant dédié au traitement vision-langage. Il accepte les images, les vidéos et le texte comme entrées et génère des réponses textuelles. L'architecture combine une immense colonne vertébrale linguistique hybride Mixture-of-Experts de 120 milliards de paramètres avec un encodeur visuel spécialisé C-RADIO. Malgré sa taille totale, le modèle n'active que 12 milliards de paramètres par token, équilibrant ainsi la charge de calcul et les performances.

SageMaker JumpStart propose deux variantes distinctes adaptées à différents besoins d'ingénierie. L'option par défaut est NVFP4, une version quantifiée optimisée pour la latence et le débit sur le matériel GPU plus récent. La seconde option fournit des poids de référence en précision BF16 complète, destinés aux équipes prévoyant des personnalisations supplémentaires, telles que le réglage fin supervisé (supervised fine-tuning) ou l'adaptation de domaine. Les deux variantes prennent en charge des longueurs de contexte allant jusqu'à un million de tokens, permettant le traitement de documents volumineux ou de séquences vidéo longues.

Le processus de déploiement est simplifié via SageMaker Studio ou le SDK Python SageMaker. Les ingénieurs peuvent sélectionner la fiche du modèle, choisir leur type d'instance préféré et déployer le point de terminaison en environ dix minutes. Le service expose une API de complétions de chat basée sur vLLM, permettant aux développeurs d'intégrer le modèle en utilisant des formats de requêtes familiers tout en gérant les entrées multimédias sous forme de data URLs encodées en base64.

Comment cela fonctionne

Nemotron 3.5 Super VL utilise une architecture hybride qui entrelace des couches Mamba-2 et Mixture-of-Experts au sein de sa colonne vertébrale linguistique de 88 couches. Cette conception permet au modèle de router les tâches vers des experts spécifiques, n'activant qu'un sous-ensemble de ses 512 experts disponibles pour chaque token donné. Une tête partagée de prédiction multi-tokens prend en charge le décodage spéculatif, bien que cette fonctionnalité ne soit pas activée dans la configuration de service JumpStart par défaut. L'encodeur visuel traite les images et les frames vidéo échantillonnées, les projetant dans l'espace d'embedding de la colonne vertébrale linguistique via un connecteur vision-langage.

Pour l'inférence, le modèle distingue les tâches nécessitant beaucoup de raisonnement des extractions directes. Le raisonnement est activé par défaut, permettant au modèle de réfléchir aux problèmes complexes avant de répondre. Les développeurs peuvent désactiver cette fonctionnalité pour des tâches plus simples comme la reconnaissance optique de caractères (OCR) ou l'extraction JSON afin de réduire la latence. La variante NVFP4 utilise des poids et des activations sur 4 bits sur les GPUs Blackwell, maintenant les composants visuels en précision supérieure pour préserver la précision tout en réduisant l'empreinte mémoire.

Détails clés

• Architecture : 120B de paramètres totaux avec 12B actifs par token, utilisant une colonne vertébrale hybride Mamba-2 et MoE.
• Fenêtre de contexte : Prend en charge jusqu'à 1 million de tokens, avec des configurations de service allant de 520 à 15 600 tokens.
• Variantes : NVFP4 pour une inférence optimisée sur les instances G7 et BF16 pour la personnalisation sur les instances P5en.
• Entrées : Accepte le texte, les images et les courts clips vidéo MP4, les médias étant fournis sous forme de data URLs encodées en base64.
• Langues : Prend en charge l'anglais, le français, l'allemand, l'italien, le japonais, l'espagnol et le chinois.
• Licence : Publiée sous l'accord de licence OpenMDW, version 1.1.

Pourquoi c'est important

Pour les créateurs de logiciels, la disponibilité de ce modèle sur SageMaker JumpStart abaisse la barrière à l'entrée pour les applications multimodales avancées. La capacité à traiter de longs contextes signifie que les ingénieurs peuvent créer des agents capables d'analyser des manuels techniques entiers, des contrats juridiques ou des journaux vidéo longs sans les diviser en morceaux arbitraires. Cela réduit la complexité de la logique applicative et améliore la cohérence des réponses du modèle sur de grands jeux de données.

La distinction entre les variantes NVFP4 et BF16 offre également une flexibilité stratégique. Les équipes concentrées sur l'inférence en production peuvent tirer parti du modèle quantifié NVFP4 sur des instances G7 rentables pour obtenir une faible latence. Pendant ce temps, les équipes de recherche et développement peuvent utiliser les poids BF16 pour affiner le modèle pour des secteurs verticaux spécifiques, tels que la santé ou la finance, avant de déployer une version personnalisée. Cette double approche soutient à la fois le prototypage rapide et la spécialisation approfondie.

Ce que vous pouvez faire

• Demandez des augmentations de quotas de service pour les instances ml.g7.24xlarge ou ml.p5en.48xlarge dans votre compte AWS avant de tenter le déploiement.
• Utilisez le SDK Python SageMaker v3.25 ou ultérieur pour automatiser le processus de déploiement et gérer les configurations des points de terminaison de manière programmatique.
• Convertissez les pages PDF en images PNG avant de les envoyer au modèle, car le point de terminaison n'accepte pas directement les fichiers PDF bruts.
• Désactivez le raisonnement via enable_thinking=False pour les tâches d'extraction simples afin d'améliorer la vitesse de réponse et de réduire l'utilisation de tokens.
• Définissez max_tokens à au moins 8 192 lors de l'analyse vidéo avec le raisonnement activé pour garantir que le modèle dispose d'un espace suffisant pour traiter les données visuelles.
• Testez d'abord la variante NVFP4 sur des instances ml.g7.24xlarge pour évaluer les performances de base avant de passer à des configurations matérielles plus grandes.