百度、効率的なオープンウェイトMoEモデル「ERNIE 5.5 Flash Base」を公開

百度は、効率性と適応性を備えた新しい大規模言語モデルアーキテクチャ「ERNIE-5.5-Flash-Base」の事前学習重みを公開しました。2026年11月5日に発表されたこのオープンウェイトリリースにより、開発者は指示調整や強化学習による調整を行う前の基礎的なチェックポイントを利用できます。

本モデルは総計2800億パラメータを持ちますが、トークンごとにアクティブになるのは140億パラメータのみです。スパースなMixture-of-Experts（MoE）設計を採用することで、計算コストと高容量のバランスを実現しています。33.5兆トークンで訓練されており、推論時には最大100万トークンのコンテキストウィンドウをサポートするため、ドメイン特化型の適応やエージェントアプリケーションのための堅牢な出発点となります。

何が起きたか

今回のリリースは、さらなる開発のためのクリーンなベースラインを提供することに重点を置いています。初期学習状態を非公開とする多くの商用モデルとは異なり、百度は事前学習終了時点の正確なチェックポイントを共有しました。これにより、研究者やエンジニアは、事後学習のアライメント技術の影響を受けずに汎用能力を構築できます。アライメント技術は、モデルの生来の推論能力を隠したり、特定の行動バイアスを導入したりすることがあるためです。

ERNIE-5.5-Flash-Baseは、MuonオプティマイザとFP8混合精度を用いてゼロから事前学習されました。訓練過程ではコンテキストウィンドウが段階的に128,000トークンまで拡張されましたが、最終的なモデルはファインチューニングおよび推論タスクにおいて最大100万トークンをサポートします。開発者側は、このベースモデルが大規模事前学習に伴う莫大なコストを他チームが負担せずに済むように意図されていることを強調しており、リポジトリ規模のコード理解や複雑なエージェントワークフローなどの専門タスクにリソースを集中させることが可能になります。

訓練コーパスは、後から追加するのが難しい能力を優先するようにキュレーションされました。これには、広範な多言語Webデータ、コミット履歴やテスト結果を含む高品質なコードリポジトリ、そして長文コンテキスト検索やマルチホップ質問応答を改善するために設計された合成データが含まれます。これらの領域に事前学習中に焦点を当てることで、ソフトウェアや長文書の深い構造的な理解を必要とするタスクに対する強力な基盤が確立されます。

仕組み

このアーキテクチャは、主にアテンションとエキスパートルーティングの処理方法におけるいくつかの新規メカニズムによって効率性を実現しています。ほとんどの層では、Heavily Compressed Attention（HCA）を使用し、128トークンごとに単一のキャッシュエントリへ圧縮します。これにより、メモリ使用量を大幅に削減しながら、シーケンス全体への視界を維持できます。7層のうち1層のみがMulti-head Latent Attention（MLA）を使用してトークンレベルの詳細情報にアクセスしますが、これらの層でもスパースアテンションを採用し、コンテキストが成長しても計算量が一定になるようにしています。

Mixture-of-Experts層でのルーティングは、単一のルーターではなく、Multi-Routerシステムによって処理されます。従来の設定では、選択されなかったエキスパートには勾配信号が届かないため、単一ルーターのエラーが自己強化される可能性があります。ERNIE 5.5 Flashは複数の独立したシグモイドルーターを使用し、エキスパートを共同でスコアリングします。このアプローチにより、ルーティング判断がノイズや分布シフトに対して敏感になりにくくなり、特に深い層において、選択されたエキスパートと実際の有用性の間の相関が高まります。

その他のアーキテクチャ上の革新には、標準的な残差接続を並列ストリームに置き換えて情報フローを改善するManifold-Constrained Hyper-Connectionsや、学習可能な分割温度を使用して確率分布のバランスを取るMultiMax出力ヘッドが含まれます。さらに、本モデルはECHOという手法を使用しており、バックボーンの最終層を再利用して将来のトークンを予測することで、個別の予測モジュールを追加することなく推論能力を向上させています。

主要な詳細

• パラメータ数: 総計2800億パラメータ、トークンあたり140億パラメータがアクティブ。
• 訓練データ: 多言語Webデータ、リポジトリ規模のコード、長文コンテキスト合成データを含み、33.5兆トークンで事前学習。
• コンテキストウィンドウ: 事前学習中は最大128Kトークン、ファインチューニングおよび推論では最大1Mトークンをサポート。
• アテンション機構: KVキャッシュの使用を最適化するために、Multi-head Latent AttentionとHeavily Compressed Attentionのハイブリッドを使用。
• オプティマイザ: 通信効率の高い更新とメモリバランス型シャーディングを備えた分散版Muonオプティマイザで訓練。
• トークナイザ: 算術性能を向上させるために、数字を右から左へ3桁グループ単位で処理する200K語彙のBPEトークナイザを搭載。

なぜ重要なのか

ソフトウェアエンジニアや機械学習研究者にとって、高品質なベース重みの入手可能性は、専門モデル作成への参入障壁を下げるものです。この規模のモデルを事前学習することは、ほとんどの組織にとって費用がかかりすぎます。百度は、膨大な量のコードと技術知識をすでに吸収したチェックポイントを提供することで、法務文書分析や専門的なコーディングアシスタントなど、特定のユースケース向けの中間学習や指示調整にチームが集中できるようにします。

アーキテクチャの選択もまた、効率的なモデル設計に関する貴重な教訓を提供します。圧縮アテンションとマルチルーターMoEシステムの使用は、メモリと計算コストを制御しながら高いパフォーマンスを維持する方法を示しています。エージェントアプリケーションが一般的になるにつれ、KVキャッシュ要件を爆発させることなく長文コンテキストを効率的に処理できる能力は不可欠になります。本モデルは、これらの技術に対する具体的な参照実装を提供します。

さらに、コード品質とリポジトリレベルのデータへの重視は、静的な構文だけでなくソフトウェアの進化を理解するモデルへのシフトを示唆しています。コミット履歴、プルリクエスト、テスト結果を訓練データに含めることで、モデルはコード変更の背後にある意図を把握しやすくなり、信頼できるAIコーディングエージェントの構築に不可欠です。

できること

• ドメイン適応プロジェクトの出発点として、ERNIE-5.5-Flash-Baseの重みをダウンロードしてください。
• 長文要約や検索タスクのために、本モデルの100万トークン・コンテキストウィンドウを実験的に使用してください。
• Multi-Router MoE実装を研究し、自身のスパースモデルにおけるルーティング安定性を改善してください。
• 数学的または金融的なアプリケーション向けモデルを構築する場合、右から左への数字トークン化戦略を活用してください。
• ECHOモジュールの複数トークンドラフト機能を利用して、推論パイプラインでの高速な投機的デコーディングを実現してください。
• このクリーンなベースラインと比較することで、独自の訓練手法の影響（特定のデータや目的によるもの）を分離してください。