AIで開発する

Exa、AWS Neuron上のカスタムカーネルで埋め込みコストを47%削減

ExaはAWS Inferentia2およびTrainium2チップ上でWebインデックスの埋め込みパイプラインを最適化し、カスタムNKIカーネルとエージェント型ワークフローを通じてコストを47%削減しました。

デジタルカウンターの上に積み上げられた光る回路基板のピラミッド
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

セマンティックWebインデックスを開発する企業であるExaは、ドキュメント埋め込みインフラのスループットを約50%向上させた手法について最近詳細を公開しました。機械学習モデルをAWS Neuronハードウェア、特にInferentia2およびTrainium2チップ上で実行するように最適化したことで、数十億件のドキュメント処理における単位コストを大幅に低減しました。

この最適化作業は、テスト、プロファイリング、カーネル生成を自動化するエージェント型開発ワークフローによって推進されました。このアプローチにより、エンジニアはメモリ使用量と計算効率におけるボトルネックを体系的に排除し、大規模なセマンティック検索向けに、より柔軟かつコスト効率の高い推論パイプラインを実現しました。

何が起きたか

Exaは、パブリック、プライベート、シンセティックソースから知識を集約してセマンティック検索を支える、数少ない真のWebインデックスの一つを維持しています。このシステムの核となるのは自社製のベクトルデータベースであり、高品質なWebドキュメントはすべて提供前にベクトル空間へ埋め込む必要があります。数百億件規模のドキュメントにおいて、1件あたりの埋め込みコストは重要な経済的要因です。効率性の改善は複利効果として大きな節約につながります。

最適化への取り組みは、Exaがより優れたドキュメントモデルへの移行を決断した際に始まりました。これには既存のコパスから300億件の優先度が高いドキュメントを再埋め込みする必要がありました。ライブインデックスを維持しながら新しいインデックスを並行して構築する必要があるため、このバックフィル操作により埋め込み負荷が一時的に倍増しました。需要の急増は、ハードウェアの選択と最適化戦略を見直す明確なトリガーとなりました。

チームはこのワークロード用にAWS Inferentia2およびTrainium2チップを選択しました。これらのアクセラレーターはそれぞれ推論とトレーニング向けに設計されていますが、同じNeuronCoreアーキテクチャを共有しています。Exaはコンテナごとに1つのNeuronCoreでワークロードを実行し、Kubernetesポッドをより大きなインスタンスに詰め込むことで、アイドル状態のコアが発生しないようにしています。この戦略によりフリート全体でコンテナの均一性が保たれ、両方のハードウェアタイプでデータ並列性を通じて同じ最適化プロセスをスケールさせることが可能になります。

仕組み

最適化の旅は、FP16精度と標準的なデータ並列性を用いたベースライン実装から始まりました。そこからチームはNeuron SDKを使用して一連のターゲットを絞った改善を適用しました。まず、不要なデータ転置を排除するために重みレイアウトを最適化し、モデルの重みをハードウェアのスケジューリングに合わせて整えました。また、オートキャストを有効にし、コンパイラが行列乗算を低い精度へダウンキャストできるようにしました。この変更により、参照モデルに対するコサイン類似度0.999という厳格な正確性ゲートを満たしつつ、動的範囲が保持されました。

メモリアクセスにおいて重大なボトルネックが判明しました。プロファイリングツールは、Tensor Engineを停止させる高帯域幅メモリ(HBM)からの頻繁なスパイルとリロードを示しました。これを解決するため、エンジニアはNeuron Kernel Interface(NKI)を使用して、カスタムの重み固定型融合SwiGLU MLPカーネルを作成しました。このカスタムカーネルは、計算中にデータをより高速なメモリ位置に保持することでHBMのストールを排除しました。チームはほとんどの操作で高レベルのNKI言語を使用し、特定のテンソルタスクのみ低レベルの命令セットアーキテクチャへ降りることで、コードの保守性を維持しました。

最終的なパフォーマンス向上は、浮動小数点演算(FLOPS)の削減によってもたらされました。チームはチップ上の両コアがアクティブになるとスループットが低下することに気づき、競合を示唆していることを認識しました。彼らはアテンションカーネルを書き換え、モデルの正確な形状に合わせ、パディングによる無駄を排除し、複数の操作を単一の行列乗算に折り畳みました。このカスタマイズにより内部ループの操作とHBM往復回数が減少し、最終的なスピードアップが実現しました。

主要な詳細

  • Exaは、初期ベースラインと比較して、百万件ごとの埋め込みにおけるパフォーマンスとコストで47%の改善を達成しました。
  • 最適化はAWS Inferentia2およびTrainium2ハードウェアを対象とし、Kubernetesポッド内の単一NeuronCore上で実行されました。
  • 高帯域幅メモリのストールを排除するために、Neuron Kernel Interface(NKI)を使用してカスタムの融合SwiGLU MLPカーネルが作成されました。
  • チームは精度のダウンキャストにもかかわらず高い正確性を維持するため、コサイン類似度0.999の正確性ゲートを強制しました。
  • Flyteを使用したエージェント型ワークフローにより、各最適化ステップのコンパイル、正確性チェック、ベンチマーキングが自動化されました。
  • アテンションカーネルは特定のモデル形状に合わせて書き直され、パディングと汎用ハンドリングに費やされるFLOPSが削減されました。

なぜ重要なのか

大規模AIアプリケーションを構築するエンジニアリングチームにとって、このケーススタディはハードウェア特化型の最適化の重要性を強調しています。汎用カーネルとデフォルトのコンパイラ設定では、しばしば著しいパフォーマンスが失われます。素朴な実装を超え、特定のモデルアーキテクチャ向けにカスタムカーネルを書くことで、Exaはほぼ2倍のスループットを引き出しました。小さな単位コストの節約が莫大な運用コスト削減につながる数十億件のドキュメントを扱う場合、このレベルのチューニングは不可欠です。

エージェント型ワークフローの使用は、複雑なシステムがどのように最適化されるかの変革も示しています。手動での試行錯誤の代わりに、Exaは自律エージェントを使用して正確性の検証、パフォーマンスのプロファイリング、コード生成を行いました。この方法により、チームはより迅速に反復でき、人間のエンジニアが手動でテストするには煩雑すぎるか複雑すぎる可能性のある最適化仮説を探求できます。展開前に最適化が正確性基準に対して厳密に検証されていることを保証します。

さらに、AWS Neuronハードウェアのような柔軟なコンピュートプール向けに最適化することは、組織がベンダーロックインや地域固有の不足を回避することを可能にします。ワークロードを複数のインスタンスタイプと地域で効率的に動作させることで、Exaはリアルタイムの価格と可用性に基づいてコンピュートをスケジューリングできます。この柔軟性は、変動の激しいクラウド市場でサービスレベルを維持し、コストを管理するために極めて重要です。

あなたができること

  • カーネル最適化を試みる前に、推論ワークロードをプロファイリングし、HBMスパイルなどのメモリボトルネックを特定してください。
  • 標準ライブラリがパフォーマンス要件を満たさない場合は、カスタム融合カーネルの作成のためにNeuron Kernel Interface(NKI)を検討してください。
  • より低い精度のデータ型を安全に実験するために、コサイン類似度の閾値など厳格な正確性ゲートを実装してください。
  • モデル最適化のテストとベンチマーキングを自動化するためにエージェント型ワークフローの使用を検討し、手動での労力を削減してください。
  • モデル実行中の不要なデータ転置を排除するために、重みレイアウトをハードウェアのスケジューリングに合わせてください。
  • パディングによる無駄を排除しFLOPSを削減するために、アテンションカーネルを特定のモデル形状に合わせてカスタマイズしてください。
  • #aws neuron
  • #kernel optimization
  • #semantic search
  • #machine learning ops
  • #cost optimization

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

AIで開発する

LLMファインチューニングジョブにおいてFLOPベースの時間見積もりが失敗する理由

Hugging Faceの研究チームは、標準的なFLOP計算がファインチューニングの所要時間を正確に予測できないことを示しました。設定データを用いたCatBoostモデルにより、誤差を12時間から2時間未満に削減することに成功しています。

すべての記事