Ricursive、650億パラメータモデルを3,200万ドルで訓練し、新たなコーディングベンチマークを樹立

Ricursive Intelligenceは、同社のAIチップ設計プラットフォームを支えるために設計された新しいオープンウェイト言語モデル「Ripple-65B Preview」をリリースしました。同社は、この650億パラメータのモデルを一から訓練するために3,200万ドルを投じ、エージェント型コーディングベンチマークにおいて米国発のオープンウェイトモデルとして新たな最高記録を打ち立てると同時に、より大規模な競合他社よりも大幅に低い訓練コストを実現しました。

何が起きたか

ハードウェアとソフトウェアの共同最適化に注力するフルスタックAIラボであるRicursive Intelligenceは、「Ripple-65B Preview」の一般公開を発表しました。この汎用バリアントは、同社のAIチップ設計ツール内部で駆動しているプロプライエタリモデルから派生したものです。本モデルは12兆トークンで事前学習され、最大100万トークンのコンテキスト長をサポートしています。リリース直後、エージェント型コーディングタスクにおいて米国のオープンウェイトモデルの新基準を確立しました。

性能指標では、Ripple-65Bがいくつかの非常に大きなモデルを上回っています。TerminalBench 2.1で80.52のスコアを達成し、Reflection Beam 501B（80.1）、Meta Muse Spark Open 816B（76.4）、Thinking Machines Inkling 975B（63.8）、NVIDIA Nemotron 3 Ultra 550B（56.4）を超えました。これらの競合モデルよりもパラメータ数が少ないにもかかわらず、Ripple-65Bは密なアーキテクチャにより低遅延のトークン生成を実現し、強力な推論性能を発揮しています。現在、Hugging Face、Together AI、GMI Cloud、OpenRouterで利用可能であり、Fireworksでのサポートも発表後間もなく開始される予定です。

業界にとって最も注目すべき点は、そのコスト効率です。フロンティアモデルの訓練費用は1億ドルから10億ドル以上と見積もられる中、Ricursiveはわずか3,200万ドルでRipple-65B Previewを開発・訓練しました。この金額には、事前学習ラダーの開発、データミックス、評価、デバッグ、合成データ生成、最終的な訓練ランを含む総研究開発費が含まれています。同社は、これがエージェント型コーディングにおける以前のオープンウェイトSOTAモデルのコストの約1/10であると述べています。

仕組み

効率性の向上は、アーキテクチャの選択と「モデルラダリング」と呼ばれる規律ある訓練戦略の組み合わせによるものです。最近の大規模モデルで一般的なMixture-of-Experts（MoE）アーキテクチャを採用する代わりに、Ricursiveは近代化された密なTransformerを選択しました。この決定によりインフラの複雑さが軽減され、カスタムカーネルや量子化を必要とせずに、訓練全体を通じて40%という堅実なModel FLOPs Utilization（MFU）を維持することができました。アーキテクチャは「細く深い」アスペクト比を持ち、狭い隠れ次元サイズ5120と合計80層で構成されています。推論能力を高めるため、アテンションヘッドを過剰に割り当て、スライディングウィンドウアテンション（SWA）とグローバルレイヤーの比率を増やし、SWAウィンドウサイズを削減しました。その他の技術的修正には、FFN活性化クリッピング、ゲート付きアテンション、グローバルNoPE（位置埋め込みなし）、および値残差が含まれます。

訓練効率は、急勾配上昇強化学習（RL）アプローチによってさらに強化されました。乱暴なRLスケーリングやポストトレーニングデータの購入に頼る代わりに、チームは厳格な品質フィルタリングを備えた内部合成データパイプラインを開発しました。高品質で長期ホライズンの合成環境内で、切り詰められた重要度サンプリング、スコアセンタリング、線形長さペナルティを用いた混合RLレシピを採用しました。モデルが改善するにつれて、より難しいタスクが継続的に導入されました。この方法により、Ripple-65Bはわずか140万回のロールアウトでトップのTerminalBenchスコアに到達し、これは以前のSOTAモデルであるReflection Beamと比較しておよそ70分の1の回数です。

事前学習レシピは、モデルラダーと呼ばれる反復的な小規模実験を通じて洗練されました。Olmo 3モデルラダーから始まり、チームはポストノームからプレプラスポストノームへの切り替え、シグモイドゲート付きアテンションの実装、値残差の追加など、さまざまな介入をテストしました。これらの複合的な変更により、40億パラメータ規模において、ベースラインのOlmo 3ラダーと比較してコード計算効率が最大16倍向上しました。最終版では、大幅にアップサンプリングされたコードを含むカスタムの事前学習データセットを使用し、スケールアップ前にモデルがコーディングタスクに効果的に特化するようにしました。

主要な詳細

• モデルサイズ: 650億パラメータ、密なアーキテクチャ。
• 訓練コスト: データ生成とインフラを含み、総R&D支出3,200万ドル。
• ベンチマークスコア: TerminalBench 2.1で80.52、米国オープンウェイトの新たなSOTA。
• コンテキスト長: 最大100万トークンをサポート。
• 訓練データ: コードのアップサンプリングに重点を置き、12兆トークンで事前学習。
• 効率性: 以前のリーダーと比較してRLロールアウト回数を70分の1に抑えつつ、SOTA性能を達成。

なぜ重要なのか

エンジニアリングチームや技術系創業者にとって、Ripple-65Bは、高性能なエージェント型コーディングのために巨大なパラメータ数が必ずしも必要ではないことを示しています。密で「細く深い」アーキテクチャの成功は、スパースなMoEモデルへの主流トレンドに挑戦しており、慎重なアーキテクチャチューニングにより、特定のハードウェア上でより良い遅延と効率性が得られる可能性を示唆しています。これは、メモリ帯域幅が生FLOPsと比較してボトルネックになりやすいNVIDIA DGX Sparkなどのローカルデバイスやエッジハードウェア上で有能なモデルを実行したい開発者にとって特に重要です。

コストの内訳は、規律あるエンジニアリングで何が達成できるかについての現実的なベンチマークも提供します。高額なデータ購入を避け、合成データの質と効率的なRLレシピに焦点を当てることで、Ricursiveは予測される業界コストの一部でフロンティアレベルの性能を達成しました。これは、アルゴリズムの効率性とデータの質が乱暴な計算スケーリングを上回る可能性があり、数億ドル規模の予算を持たない組織が専門的なAIツールを構築するためのより持続可能な道を提供する変化を示しています。

あなたができること

• Hugging FaceからRipple-65B Previewをダウンロードし、ローカル環境でエージェント型コーディング機能をテストしてください。
• 独自のコーディングベンチマークでモデルを評価し、現在使用しているより大きなMoEモデルと比較して遅延と精度を確認してください。
• 「細く深い」比率やグローバルNoPEの実装などのアーキテクチャの詳細を検討し、自身のモデル設計の判断材料としてください。
• ローカルワークステーションなどメモリ帯域幅が低いハードウェアでモデルを実験し、エッジアプリケーションへの展開可能性を評価してください。
• 報告されているRLレシピ、特に合成データと切り詰められた重要度サンプリングの使用法を研究し、自身のポストトレーニングパイプラインを最適化してください。
• ローカルホスティングが不可能な場合、クラウドベースの推論ワークフローにモデルを組み込むため、Fireworksでの今後の提供状況を追跡してください。