KI-Agenten

DeepSeek-Coding-Agent verliert Punkte im Benchmark, weil er Hintergrundprozesse aufräumt

DeepSeek Harness fällt in den Terminal-Bench-Rankings zurück, da er automatisch Hintergrundjobs beendet. Dieses Verhalten widerspricht spezifischen Testanforderungen, obwohl es als Standardpraxis gilt.

Ein Roboterarm räumt digitale Komponenten auf, wodurch ein Hintergrundserver verschwindet.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Der Open-Source-Coding-Agent von DeepSeek verliert auf einem wichtigen Branchenbenchmark an Boden aufgrund einer eingebauten Gewohnheit, die Entwickler üblicherweise als Best Practice betrachten. Der Agent räumt nach Abschluss einer Aufgabe automatisch auf, indem er Hintergrundprozesse beendet. Dies führt dazu, dass er bei bestimmten Tests versagt, die voraussetzen, dass diese Prozesse aktiv bleiben. Diese Diskrepanz wurde im November 2026 deutlich, als der Forscher Joël Niklaus das Tool in seine vergleichende Rangliste aufnahm.

Was passiert ist

Das Problem trat auf, als Niklaus, ein Forscher für Harness-Optimierung bei Hugging Face, DeepSeek Harness in seine Leaderboard für Coding-Agents integrierte. Diese Liste vergleicht zehn verschiedene Agent-Harnesses, die identische zugrunde liegende Modelle nutzen, um den Einfluss der Orchestrierungsschicht zu isolieren. Während DeepSeek Harness insgesamt hervorragend abschnitt und sich in fünf bewerteten Prüfungen den ersten Platz teilte, fiel er speziell bei Terminal-Bench auf den sechsten Platz zurück.

Die Leistungslücke ließ sich auf drei spezifische Aufgaben innerhalb von Terminal-Bench zurückführen, die verlangen, dass Hintergrundprozesse auch nach der Ausführung des initialen Befehls weiterlaufen. DeepSeek Harness schließt diese Prozesse konstruktionsbedingt ab, wenn er eine Aufgabe als erledigt betrachtet. Bei Tests mit den Modellen DeepSeek-V4.1-Flash und GLM-5.3-Flash bestand der Agent nur zwei von 36 Versuchen bei diesen spezifischen Aufgaben. Im Gegensatz dazu bestanden konkurrierende Agents wie OpenCode, Pi und Hermes Agent von Nous Research alle 36 Versuche bei denselben Aufgaben, da sie keine strikte Aufräumrichtlinie durchsetzen.

Dieser einzelne Verhaltensunterschied reduzierte den Score von DeepSeek Harness um zwischen 1,5 und 1,7 Prozentpunkte. Beim Modell DeepSeek-V4.1-Flash, konfiguriert für einen hohen Reasoning-Aufwand, war dieser Abzug größer als die gesamte Lücke von 1,3 Punkten, die DeepSeek vom Spitzenreiter der Rangliste trennte. Das Changelog des Leaderboards bestätigt, dass dieses Abschaltverhalten eine beabsichtigte Funktion von DeepSeek Harness ist. Die Scores wurden nicht geändert, um die reale Leistung widerzuspiegeln.

Wie es funktioniert

DeepSeek Harness nutzt ein lokales Job-Registry, das kurzlebig ausgelegt ist. Laut der technischen Dokumentation von DeepSeek ist diese Komponente für Jobs gedacht, die innerhalb des Harness-Prozesses leben und beendet werden sollen, wenn der Prozess endet. Diese Architektur stellt sicher, dass keine Ressourcen geleakt werden und die Umgebung für nachfolgende Aufgaben sauber bleibt. Allerdings entsteht dadurch ein Konflikt mit Workflows, die auf persistenten Hintergrunddiensten basieren, wie Webserver oder langlaufende Daemons, die über den unmittelbaren Ausführungszeitraum hinaus bestehen müssen.

Für Aufgaben, die Persistenz über Neustarts hinweg oder unabhängige Prozessausführung erfordern, empfiehlt die Dokumentation die Verwendung eines anderen Backends. Der Agent unterscheidet derzeit während seiner Aufräumphase nicht zwischen flüchtigen Hilfsskripten und essenziellen Hintergrunddiensten. Folglich behandelt er alle gestarteten Subprozesse als temporäre Artefakte, die bei任务abschluss entfernt werden sollen, was zu Fehlern in Benchmarks führt, die explizit die Prozesspersistenz testen.

Wichtige Details

  • DeepSeek Harness belegt den sechsten Platz bei Terminal-Bench, liegt aber statistisch gleichauf mit dem ersten Platz in den anderen fünf Bewertungen des Leaderboards.
  • Der Agent bestand nur 2 von 36 Versuchen bei spezifischen Persistenzaufgaben, während Konkurrenten wie OpenCode und Pi alle 36 bestanden.
  • Das Aufräumverhalten reduzierte die Scores um 1,5 bis 1,7 Prozentpunkte, was die Marge zwischen DeepSeek und dem erstplatzierten Agenten übersteigt.
  • Niklaus’ Leaderboard umfasste 28.849 Versuche über neun Harnesses hinweg unter Verwendung der Modelle DeepSeek-V4.1-Flash, GLM-5.3-Flash und Flint.
  • Mini-swe-agent erreichte eine Lösungsrate von 51,4 %, deutlich höher als die 27,3 % von OpenClaw, trotz Nutzung derselben zugrunde liegenden Modelle.
  • Die Kosteneffizienz variierte stark: Pi löste Aufgaben für jeweils 0,29 USD, verglichen mit 3,35 USD pro gelöster Aufgabe bei OpenCode in den ersten Bewertungen.

Warum das wichtig ist

Dieser Vorfall unterstreicht, dass die Wahl des Agent-Harness genauso kritisch sein kann wie die Wahl des zugrunde liegenden großen Sprachmodells. Entwickler konzentrieren sich oft stark auf die Fähigkeiten des Modells, wie Reasoning-Tiefe oder Kontextfenstergröße, und betrachten die Orchestrierungsschicht als neutralen Wrapper. Die Daten zeigen, dass Harnesses signifikante Varianzen sowohl in Erfolgsraten als auch in Kosten einführen. Beispielsweise bemerkte Thomas Wolf, Mitgründer von Hugging Face, dass dasselbe offene Modell sehr unterschiedliche Ergebnisse lieferte, je nachdem welcher Harness verwendet wurde.

Für Engineering-Teams, die KI-gestützte Entwicklungstools bauen, bedeutet dies, dass Benchmark-Scores mit Vorsicht interpretiert werden müssen. Ein niedrigerer Score deutet nicht unbedingt auf ein schwächeres Modell hin, sondern eher auf eine Inkongruenz zwischen den Standardverhalten des Agents und den spezifischen Constraints des Benchmarks. Es hebt zudem die Bedeutung des Kostenmonitorings hervor, da einige Harnesses aufgrund ineffizienter Kontextbehandlung oder redundanter Anfragen deutlich höhere Ausgaben pro gelöster Aufgabe verursachen.

Was Sie tun können

  • Bewerten Sie Ihren Agent-Harness separat von Ihrem Modell, indem Sie kontrollierte Versuche mit konstanten Modellparametern durchführen.
  • Prüfen Sie, ob die standardmäßigen Aufräumpolicies Ihres Agents mit Aufgaben kollidieren, die persistente Hintergrundprozesse oder langlaufende Dienste erfordern.
  • Überwachen Sie die Kosten pro gelöster Aufgabe neben Genauigkeitsmetriken, um ineffiziente Orchestrierungsmuster zu identifizieren.
  • Lesen Sie die Dokumentation für Ihren gewählten Harness, um zu verstehen, wie er Job-Lebenszyklen und Prozesspersistenz verwaltet.
  • Erwägen Sie die Nutzung alternativer Backends für Aufgaben, die verlangen, dass Jobs Neustarts überleben oder über mehrere Prozesse hinweg laufen.
  • Testen Sie mehrere Harnesses mit demselben Modell, um zu bestimmen, welche Kombination die beste Balance aus Leistung und Kosten für Ihren spezifischen Anwendungsfall bietet.
  • #ai agents
  • #deepseek
  • #benchmarks
  • #software engineering
  • #llm ops

Tools aus dem Bytechap-Shop

Weiterlesen

Alle Artikel