NVIDIA Nemotron 3.5 Super VL、100万トークンのコンテキストウィンドウを備えSageMakerに登場

Amazon Web Servicesは2026年11月9日、NVIDIA Nemotron 3.5 Super VLをAmazon SageMaker JumpStart経由でデプロイ可能にしたと発表しました。このリリースにより、エンジニアはドキュメントインテリジェンスや動画理解など、複雑なマルチモーダルタスク向けに設計された高容量の視覚言語モデルに即座にアクセスできるようになります。

何が起きたか

新モデルはNVIDIA Nemotron 3.5ファミリーに加わり、専用の視覚言語コンポーネントとして機能します。画像、動画、テキストを入力として受け付け、テキスト応答を生成します。アーキテクチャは、120億パラメータからなる巨大なハイブリッドMixture-of-Experts言語バックボーンと、特化型のC-RADIO視覚エンコーダを組み合わせています。総サイズは大きいものの、モデルは1トークンあたり120億パラメータのみをアクティブにし、計算負荷とパフォーマンスのバランスを取っています。

SageMaker JumpStartでは、異なるエンジニアリングニーズに対応するため、2つのバリアントを提供しています。デフォルトオプションはNVFP4で、新しいGPUハードウェアにおけるレイテンシとスループットを最適化した量子化バージョンです。2番目のオプションはBF16フル精度参照重みであり、教師ありファインチューニングやドメイン適応などのさらなるカスタマイズを計画しているチーム向けです。両方のバリアントは最大100万トークンのコンテキスト長をサポートしており、広範なドキュメントや長い動画シーケンスの処理が可能になります。

デプロイプロセスはSageMaker StudioまたはSageMaker Python SDKを通じて簡素化されています。エンジニアはモデルカードを選択し、希望するインスタンスタイプを選び、約10分でエンドポイントをデプロイできます。サービスはvLLM駆動のチャット補完APIを公開しており、開発者はメディア入力をbase64エンコードされたデータURLとして扱いながら、慣れ親しんだリクエスト形式でモデルを統合できます。

仕組み

Nemotron 3.5 Super VLは、88層の言語バックボーン内でMamba-2とMixture-of-Experts層を交互に配置するハイブリッドアーキテクチャを使用しています。この設計により、モデルはタスクを特定のエキスパートにルーティングし、任意のトークンに対して利用可能な512人のエキスパートのうちサブセットのみをアクティブにします。共有Multi-Token Predictionヘッドは投機的デコーディング（speculative decoding）をサポートしていますが、この機能はデフォルトのJumpStartサービング構成では有効になっていません。視覚エンコーダは画像とサンプリングされた動画フレームを処理し、視覚言語コネクタを介してそれらを言語バックボーンの埋め込み空間にマッピングします。

推論において、モデルは推論重視のタスクと直接抽出を区別します。推論はデフォルトで有効であり、モデルは回答する前に複雑な問題について思考を進めることができます。開発者は、光学文字認識（OCR）やJSON抽出などの単純なタスクではこの機能を無効にして、レイテンシを削減できます。NVFP4バリアントはBlackwell GPU上で4ビットの重みとアクティベーションを使用し、視覚コンポーネントはより高い精度で保持することで、メモリフットプリントを削減しつつ精度を維持します。

主要な詳細

• アーキテクチャ: 合計120Bパラメータ、1トークンあたりアクティブパラメータ12B、ハイブリッドMamba-2およびMoEバックボーンを使用。
• コンテキストウィンドウ: 最大100万トークンをサポート、サービング構成は520～15,600トークンの範囲。
• バリアント: G7インスタンスでの最適化された推論用NVFP4、P5enインスタンスでのカスタマイズ用BF16。
• 入力: テキスト、画像、短いMP4動画クリップを受け付け、メディアはbase64エンコードされたデータURLとして提供。
• 言語: 英語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語をサポート。
• ライセンス: OpenMDW License Agreement バージョン1.1の下でリリース。

なぜ重要なのか

ソフトウェアビルダーにとって、このモデルがSageMaker JumpStartで利用可能になったことは、高度なマルチモーダルアプリケーションへの参入障壁を下げるものです。長いコンテキストを処理できる能力により、エンジニアは技術マニュアル全体、法的契約書、長い動画ログなどを任意のチャンクに分割せずに分析するエージェントを構築できます。これにより、アプリケーションロジックの複雑さが軽減され、大規模データセットにわたるモデル応答の一貫性が向上します。

NVFP4とBF16バリアントの区別は、戦略的な柔軟性も提供します。本番推論に集中するチームは、コスト効率の良いG7インスタンス上で量子化されたNVFP4モデルを活用し、低レイテンシを実現できます。一方、研究開発チームはBF16重みを使用してヘルスケアや金融などの特定の業界バーティカル向けにモデルをファインチューニングし、その後カスタマイズ版をデプロイできます。この二重のアプローチは、迅速なプロトタイピングと深い専門化の両方をサポートします。

実行できること

• デプロイを試みる前に、AWSアカウントでml.g7.24xlargeまたはml.p5en.48xlargeインスタンスのサービスクォータ増加をリクエストしてください。
• SageMaker Python SDK v3.25以降を使用して、デプロイプロセスを自動化し、エンドポイント構成をプログラムで管理してください。
• PDFページをPNG画像にレンダリングしてからモデルに送信してください。エンドポイントは生のPDFファイルを直接受け付けないためです。
• 単純な抽出タスクではenable_thinking=Falseで推論を無効にし、応答速度を向上させ、トークン使用量を削減してください。
• 推論を有効にして動画分析を行う場合、モデルが視覚データを処理するための十分なスペースを確保するために、max_tokensを少なくとも8,192に設定してください。
• より大きなハードウェア構成へスケールアップする前に、ml.g7.24xlargeインスタンスでNVFP4バリアントをテストし、ベースラインパフォーマンスを評価してください。