NVIDIA Nemotron 3.5 Super VL auf SageMaker verfügbar mit 1 Mio. Token Kontext

Amazon Web Services gab am 9. November 2026 bekannt, dass NVIDIA Nemotron 3.5 Super VL über Amazon SageMaker JumpStart bereitgestellt werden kann. Diese Version ermöglicht Ingenieuren den sofortigen Zugriff auf ein leistungsstarkes Vision-Language-Modell, das für komplexe multimodale Aufgaben wie Dokumentenintelligenz und Videoverständnis konzipiert ist.

Was passiert ist

Das neue Modell ergänzt die NVIDIA Nemotron 3.5 Familie als dedizierte Vision-Language-Komponente. Es akzeptiert Bilder, Videos und Text als Eingaben und generiert Textantworten. Die Architektur kombiniert einen riesigen hybriden Mixture-of-Experts-Sprachrücken mit 120 Milliarden Parametern und einem spezialisierten C-RADIO-Vision-Encoder. Trotz der Gesamtgröße aktiviert das Modell nur 12 Milliarden Parameter pro Token, was die Rechenlast und die Leistung ausbalanciert.

SageMaker JumpStart bietet zwei unterschiedliche Varianten an, um verschiedenen technischen Anforderungen gerecht zu werden. Die Standardoption ist NVFP4, eine quantisierte Version, die für niedrige Latenz und hohen Durchsatz auf neuerer GPU-Hardware optimiert ist. Die zweite Option stellt BF16-Vollpräzisions-Referenzgewichte bereit, die für Teams gedacht sind, die weitere Anpassungen vornehmen möchten, wie z. B. überwachtes Fine-Tuning oder Domänenanpassung. Beide Varianten unterstützen Kontextlängen von bis zu einer Million Tokens, was die Verarbeitung umfangreicher Dokumente oder langer Videosequenzen ermöglicht.

Der Bereitstellungsprozess wird über SageMaker Studio oder das SageMaker Python SDK vereinfacht. Ingenieure können die Model Card auswählen, ihren bevorzugten Instanztyp wählen und den Endpoint in etwa zehn Minuten bereitstellen. Der Dienst stellt eine vLLM-basierte Chat Completions API bereit, sodass Entwickler das Modell mit vertrauten Anfrageformaten integrieren können, während Medien-Eingaben als base64-codierte Data URLs verarbeitet werden.

Wie es funktioniert

Nemotron 3.5 Super VL nutzt eine hybride Architektur, die Mamba-2- und Mixture-of-Experts-Schichten innerhalb seines Sprachrückgrats mit 88 Schichten abwechselnd einsetzt. Dieses Design ermöglicht es dem Modell, Aufgaben an spezifische Experten zu leiten und nur eine Teilmenge seiner 512 verfügbaren Experten für jedes gegebene Token zu aktivieren. Ein gemeinsamer Multi-Token Prediction Head unterstützt spekulatives Decoding, obwohl diese Funktion in der standardmäßigen JumpStart-Bereitstellungskonfiguration nicht aktiviert ist. Der Vision-Encoder verarbeitet Bilder und ausgewählte Videoframes und bildet sie über einen Vision-Language-Connector in den Embedding-Raum des Sprachrückgrats ab.

Für die Inferenz unterscheidet das Modell zwischen denkintensiven Aufgaben und direkter Extraktion. Das Denken (Reasoning) ist standardmäßig aktiviert, sodass das Modell komplexe Probleme durchdenken kann, bevor es antwortet. Entwickler können diese Funktion für einfachere Aufgaben wie optische Zeichenerkennung oder JSON-Extraktion deaktivieren, um die Latenz zu reduzieren. Die NVFP4-Variante verwendet 4-Bit-Gewichte und -Aktivierungen auf Blackwell-GPUs, wobei die Vision-Komponenten in höherer Präzision gehalten werden, um die Genauigkeit zu wahren und gleichzeitig den Speicherbedarf zu senken.

Wichtige Details

• Architektur: 120 Mrd. Gesamtparameter mit 12 Mrd. aktiven Parametern pro Token, unter Verwendung eines hybriden Mamba-2- und MoE-Rückgrats.
• Kontextfenster: Unterstützt bis zu 1 Million Tokens, mit Bereitstellungskonfigurationen im Bereich von 520 bis 15.600 Tokens.
• Varianten: NVFP4 für optimierte Inferenz auf G7-Instanzen und BF16 für Anpassungen auf P5en-Instanzen.
• Eingaben: Akzeptiert Text, Bilder und kurze MP4-Videoclips, wobei Medien als base64-codierte Data URLs bereitgestellt werden.
• Sprachen: Unterstützt Englisch, Französisch, Deutsch, Italienisch, Japanisch, Spanisch und Chinesisch.
• Lizenz: Veröffentlicht unter der OpenMDW License Agreement, Version 1.1.

Warum es wichtig ist

Für Softwareentwickler senkt die Verfügbarkeit dieses Modells auf SageMaker JumpStart die Einstiegshürde für fortgeschrittene multimodale Anwendungen. Die Fähigkeit, lange Kontexte zu verarbeiten, bedeutet, dass Ingenieure Agenten erstellen können, die gesamte technische Handbücher, Vertragsdokumente oder lange Videoprotokolle analysieren, ohne sie in willkürliche Abschnitte zu unterteilen. Dies reduziert die Komplexität der Anwendungslogik und verbessert die Kohärenz der Modellantworten über große Datensätze hinweg.

Die Unterscheidung zwischen den NVFP4- und BF16-Varianten bietet zudem strategische Flexibilität. Teams, die sich auf die Produktions-Inferenz konzentrieren, können das quantisierte NVFP4-Modell auf kostengünstigen G7-Instanzen nutzen, um niedrige Latenzzeiten zu erreichen. Gleichzeitig können Forschungs- und Entwicklungsteams die BF16-Gewichte verwenden, um das Modell für spezifische Branchenvertikalen wie Gesundheitswesen oder Finanzen feinabzustimmen, bevor sie eine angepasste Version bereitstellen. Dieser doppelte Ansatz unterstützt sowohl schnelles Prototyping als auch tiefgreifende Spezialisierung.

Was Sie tun können

• Beantragen Sie Erhöhungen des Service-Quotas für ml.g7.24xlarge- oder ml.p5en.48xlarge-Instanzen in Ihrem AWS-Konto, bevor Sie mit der Bereitstellung beginnen.
• Verwenden Sie das SageMaker Python SDK v3.25 oder neuer, um den Bereitstellungsprozess zu automatisieren und Endpoint-Konfigurationen programmatisch zu verwalten.
• Rendern Sie PDF-Seiten vor dem Senden an das Modell in PNG-Bilder, da der Endpoint keine rohen PDF-Dateien direkt akzeptiert.
• Deaktivieren Sie das Reasoning über enable_thinking=False für einfache Extraktionsaufgaben, um die Antwortgeschwindigkeit zu verbessern und den Tokenverbrauch zu reduzieren.
• Setzen Sie max_tokens auf mindestens 8.192, wenn Sie Videoanalysen mit aktiviertem Reasoning durchführen, um sicherzustellen, dass das Modell genügend Platz hat, um visuelle Daten zu verarbeiten.
• Testen Sie zunächst die NVFP4-Variante auf ml.g7.24xlarge-Instanzen, um die Basisleistung zu bewerten, bevor Sie auf größere Hardwarekonfigurationen skalieren.