AIエージェント

DeepSeekのコーディングエージェント、バックグラウンドプロセスのクリーンアップによりベンチマークで減点

DeepSeek Harnessは、標準的な慣行であるにもかかわらず、特定のテスト要件と矛盾する挙動を示し、バックグラウンドジョブを自動的に終了させるため、Terminal-Benchランキングで順位を下げました。

デジタルコンポーネントを片付けるロボットアームにより、バックグラウンドサーバーが消えている様子
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

DeepSeekのオープンソースコーディングエージェントは、開発者が一般的にベストプラクティスとみなす組み込みの習慣のために、主要な業界ベンチマークで苦戦しています。このエージェントはタスク完了後にバックグラウンドプロセスを終了させることで自身をクリーンアップしますが、これによりこれらのプロセスがアクティブな状態であることを要求する特定のテストで失敗します。この差異は、2026年11月に研究者Joël Niklaus氏が同ツールを比較リーダーボードに追加した際に明らかになりました。

何が起きたのか

Hugging Faceでハーネス最適化の研究を行っているNiklaus氏が、DeepSeek Harnessを彼のコーディングエージェントリーダーボードに統合した際、問題が発生しました。このボードは、オーケストレーションレイヤーの影響を分離するために、同一の基盤モデルを実行する10種類の異なるエージェントハーネスを比較します。DeepSeek Harnessは全体的には非常に優れた性能を見せ、5つの採点評価のうち首位と並ぶ結果を残しましたが、特にTerminal-Benchでは6位に落ち込みました。

パフォーマンスのギャップは、初期コマンド発行後もバックグラウンドプロセスが実行され続けることを要求するTerminal-Bench内の3つの特定タスクに起因していました。DeepSeek Harnessは設計上、タスクが完了したと判断した時点でこれらのプロセスをシャットダウンします。DeepSeek-V4.1-FlashおよびGLM-5.3-Flashモデルを用いたテストでは、エージェントはこの特定タスクにおいて36回の試行中わずか2回しかパスできませんでした。対照的に、OpenCode、Pi、Nous ResearchのHermes Agentなどの競合エージェントは、この厳格なクリーンアップポリシーを強制しないため、同じタスクで36回すべてに合格しました。

この単一の挙動の違いにより、DeepSeek Harnessのスコアは1.5〜1.7パーセンテージポイント低下しました。高い推論負荷用に設定されたDeepSeek-V4.1-Flashモデルでは、このペナルティはDeepSeekとリーダーボード首位との間の1.3ポイントの差よりも大きいものでした。リーダーボードの変更履歴は、このシャットダウン挙動がDeepSeek Harnessの意図的な機能であることを確認しており、実世界の性能を反映するためにスコアは変更されませんでした。

仕組み

DeepSeek Harnessは、短命であることを前提としたローカルジョブリジストリを利用しています。DeepSeekのエンジニアリングドキュメントによると、このコンポーネントはハーネスプロセス内で生存し、プロセス終了時に終了すべきジョブ向けに設計されています。このアーキテクチャにより、リソースリークを防ぎ、後続タスクのために環境をクリーンな状態に保つことができます。しかし、Webサーバーや長時間稼働するデーモンなど、即時の実行コンテキストを超えて存続する必要がある永続的なバックグラウンドサービスに依存するワークフローとは衝突が生じます。

再起動をまたぐ永続性や独立したプロセス実行を必要とするタスクについては、ドキュメントは別のバックエンドの使用を推奨しています。エージェントは現在、クリーンアップフェーズ中に一時的なヘルパースクリプトと必須のバックグラウンドサービスを区別していません。その結果、起動されたすべてのサブプロセスを、タスク完了時に削除されるべき一時アーティファクトとして扱い、プロセスの永続性を明示的にテストするベンチマークでの失敗につながります。

主要な詳細

  • DeepSeek HarnessはTerminal-Benchで6位ですが、リーダーボードの他の5つの評価では統計的に首位と並んでいます。
  • エージェントは特定の永続性タスクで36回の試行中わずか2回しかパスしませんでしたが、OpenCodeやPiなどの競合他社は36回すべてに合格しました。
  • クリーンアップ挙動によりスコアが1.5〜1.7パーセンテージポイント低下し、これはDeepSeekとトップランクのエージェント間のマージンを上回るものでした。
  • Niklaus氏のリーダーボードには、DeepSeek-V4.1-Flash、GLM-5.3-Flash、Flintモデルを使用する9つのハーネスにおける28,849件のトライアルが含まれていました。
  • Mini-swe-agentは、同じ基盤モデルを使用しながらも、OpenClawの27.3%を大きく上回る51.4%の解決率を達成しました。
  • コスト効率には大きなばらつきがあり、Piはタスクあたり0.29ドルで解決した一方、OpenCodeは初期評価で解決済みタスクあたり3.35ドルかかりました。

なぜ重要なのか

この事例は、エージェントハーネスの選択が、基盤となる大規模言語モデルの選択と同じくらい重要になり得ることを強調しています。開発者はしばしば推論の深さやコンテキストウィンドウサイズなどのモデル能力に重点を置き、オーケストレーションレイヤーを中立なラッパーとして扱いがちです。データは、ハーネスが成功率とコストの両方に大きな変動をもたらすことを示しています。例えば、Hugging Face共同創業者のThomas Wolf氏は、同じオープンモデルでも使用したハーネスによって非常に異なる結果が出たと指摘しています。

AI駆動の開発ツールを構築するエンジニアリングチームにとって、これはベンチマークスコアを慎重に解釈する必要があることを意味します。低いスコアは弱いモデルを示すのではなく、エージェントのデフォルト挙動とベンチマークの特定の制約との不一致を示している可能性があります。また、非効率的なコンテキスト処理や冗長なリクエストにより、一部のハーネスは解決済みタスクあたりの費用が著しく高くなるため、コスト監視の重要性も浮き彫りになっています。

できること

  • モデルパラメータを一定に保った統制されたトライアルを実施することで、モデルから切り離してエージェントハーネスを評価してください。
  • エージェントのデフォルトのクリーンアップポリシーが、永続的なバックグラウンドプロセスや長時間稼働するサービスを必要とするタスクと矛盾していないか確認してください。
  • 非効率的なオーケストレーションパターンを特定するために、精度指標とともに解決済みタスクあたりのコストを監視してください。
  • 選択したハーネスがジョブライフサイクルとプロセス永続性をどのように管理するかを理解するために、ドキュメントを確認してください。
  • ジョブが再起動を生き延びたり、複数のプロセスにわたって実行されたりする必要があるタスクには、代替バックエンドの使用を検討してください。
  • 同じモデルで複数のハーネスをテストし、特定のユースケースに対してパフォーマンスとコストの最適なバランスを提供する組み合わせを決定してください。
  • #ai agents
  • #deepseek
  • #benchmarks
  • #software engineering
  • #llm ops

Bytechapストアのツール

続きを読む

AIエージェント

TokenEconomizer、過去のセッションから学習しAIコーディングエージェントのコストを削減

Microsoft Researchとカリフォルニア大学バークレー校が、基盤モデルを変更することなくリポジトリの履歴を活用してAIコーディングエージェントのトークン使用量を削減するオープンソースプラグインを発表しました。

すべての記事