Meta、アイドル状態のAI計算能力を活用し広告レコメンデーションを改善

Metaは、局所的にアイドル状態にあるAI推論容量を広告レコメンデーションの改善に変換する新システムを導入しました。2026年10月12日に公開されたこの技術記事では、追加ハードウェアを購入せずに広告の関連性を高めるため、グローバルなフリート全体で断片化したリソースを集約する方法についてエンジニアリングチームが詳細に説明しています。

何が起きたか

大手テクノロジー企業の推論フリートは、ピーク需要によって全体的には制約を受けている一方で、局所的には大量のアイドル容量を抱えるというパラドックスに直面することがよくあります。このミスマッチは、トラフィックパターンの変動、モデル開発とハードウェア納品間のタイミングのずれ、そしてCPUやアクセラレーターなどのリソース比率における地域的な不均衡によって生じます。Metaは、これらの遊休リソースを適切に管理すれば、プール化することで相当量の計算能力を提供できることを特定しました。

これに対応するため、Metaはこの変動性が高くプリエンプション（先取り）可能な容量を共有の機会的なプールとして扱うシステムを構築しました。このシステムにより、オプションの広告ワークロードは利用可能時にそのスペースへ拡張でき、ベースラインタスクのために容量が回収される際には即座に縮小できます。このアプローチにより、コアインフラストラクチャの安定性を確保しつつ、本来であれば未使用のまま放置されるハードウェアから追加価値を引き出すことができます。

実装では、この余剰容量を安全に消費するために2つの具体的なメカニズムに依存しています。オプションワークをクリティカルなベースライントラフィックから分離することで、急な容量プリエンプション時の遅延スパイクや信頼性の問題を防止します。この設計により、Metaは全体のインフラフットプリントを増加させることなく、より良い広告マッチングを通じて広告主の結果とユーザー体験を向上させることができます。

仕組み

このシステムは、アイドルリソースを利用するために2つの補完的な弾力性レバーを採用しています。「Rank More Ads (RMA)」と「Serve Better Models (SBM)」です。RMAは、余剰CPUおよびアクセラレーター容量が検出された際、ランキング段階で評価される候補広告の数を増やします。このプロセスはアップストリームの機能処理とダウンストリームの推論の両方に関与するため、両方のプロセッサタイプが必要です。より大きな候補プールを評価することで、各ユーザーリクエストに対して高度に関連性の高い広告を選択する確率が高まります。

SBMは特にアクセラレーターの余剰に焦点を当て、より強力かつ複雑な機械学習モデルへのリクエストの割合を高めます。RMAとは異なり、SBMは候補の数を一定に保つことで、アップストリームのCPU需要を安定させます。モデルルーターコンポーネントはバリューシグナルを使用し、強化されたモデルから最も恩恵を受ける可能性の高いリクエストを優先します。これにより、RMAでは活用できないアクセラレーター専用の容量を消費でき、幅広い範囲のアイドルリソースが稼働することになります。

安全性は、厳格な物理的および論理的な分離によって維持されます。SBMはベースラインモデルと高機能モデル用に個別のルーティングターゲットを使用しており、機会的な容量が消滅した場合はリクエストが単にベースラインモデルへフォールバックするように保証されています。RMAは、利用可能なレプリカに基づいて追加作業のグローバル予算を計算することで論理的分離を使用します。フィードバックループはテールレイテンシとリクエスト値を監視し、数分以内にワークロードを調整しますが、ミリ秒レベルの負荷分散（load shedding）は、低価値のオプションワークを直ちにドロップすることで急なプリエンプションに対する保護を提供します。

主要な詳細

• このシステムは、ピークプロビジョニングとリソースミスマッチによりフリート全体では制約があるものの局所的にはアイドル状態となる推論容量のパラドックスに対処します。
• Rank More Ads (RMA) はランキング用の候補セットを拡張し、効果的に機能するにはCPUとアクセラレーターの両方の余剰が必要です。
• Serve Better Models (SBM) はアクセラレーターの余剰のみを使用して複雑なモデルへのトラフィックを増やし、アップストリームのCPU負荷を安定させます。
• 物理的分離はSBMのベースライントラフィックを保護し、グローバル予算を通じた論理的分離はRMAのベースラインパフォーマンスを保護します。
• マルチ層の負荷分散は容量プリエンプションに対してミリ秒単位で反応し、中央コントローラーが調整する前に低価値のオプションワークをドロップします。
• 今後の計画には、モデルの可搬性の拡大や、地域およびハードウェアタイプにわたる価値に基づく容量配分の自動化が含まれています。

なぜ重要なのか

大規模MLインフラを管理するエンジニアリングチームにとって、このアーキテクチャは資本支出なしに効率を改善するための青写真を提供します。これは、オプションの品質改善をクリティカルなサービスレベル目標から切り離す方法を示しています。アイドル容量を不安定だが価値あるリソースとして扱うことで、組織はコアユーザーインタラクションに対する厳格な遅延保証を維持しながら、広告の関連性など製品品質を向上させることができます。

ベースラインワークロードと機会的ワークロードの懸念事項の分離は、異種ハードウェアを扱うシステムにとって特に示唆に富んでいます。AIモデルがより複雑になるにつれ、リアルタイムのリソース可用性に基づいて異なるモデルティアへリクエストを動的にルーティングする能力が不可欠になります。このアプローチは、ハードウェアミスマッチによる無駄を最小限に抑え、プライマリ需要が変動する場合でも高価なアクセラレーターが活用されることを保証します。

さらに、価値認識型の負荷分散の使用は、分散システムのための堅牢な安全網を提供します。これにより、エンジニアは圧力下で優雅に性能低下（graceful degradation）を起こせる積極的な最適化戦略を設計できます。このパターンは広告を超えて適用可能であり、検索ランキングやコンテンツレコメンデーションエンジンなど、増分的な計算努力が逓減的だが正の効果をもたらすあらゆるサービスに拡張できます。

実行できること

• 地域のリソース比率やピークプロビジョニングのギャップによって引き起こされる局所的なアイドル容量について推論フリートを監査してください。
• コアサービスの信頼性に影響を与えることなく迅速にスケールアップまたはスケールダウンできる、高い弾力性を持つワークロードを特定してください。
• ベースライントラフィックとオプションの計算タスクの間で論理的または物理的な分離を実装し、競合を防止してください。
• レイテンシとリソース使用量を監視し、機会的ワークのボリュームを動的に調整するためのフィードバックループを展開してください。
• サーバーおよびクライアントレベルでミリ秒レベルの負荷分散を追加し、急な容量プリエンプションを優雅に処理できるようにしてください。
• バリューシグナルを使用して、どのオプションタスクが追加リソースを受け取るかを優先順位付けし、計算ユニットあたりの最大のインパクトを保証してください。