Die Wahl des Coding-Agent-Harness kann die Kosten für KI-Inferenz um das Fünffache erhöhen
Neue Benchmark-Daten zeigen, dass der Software-Wrapper um ein KI-Modell zu massiven Kostenschwankungen führt, wobei fehlgeschlagene Durchläufe fast zwei Drittel des Budgets verbrauchen.
Automatisch aus dem englischen Original übersetzt.
Ein im November 2026 veröffentlichter neuer Benchmark belegt, dass das mit einem KI-Modell gekoppelte Harness für Coding-Agents die Betriebskosten um bis zum Fünffachen steigern kann. Forscher von Runta und Baseten bewerteten 22 verschiedene Konfigurationen über fünf Open-Weight-Modelle hinweg und zeigten, dass Infrastruktur-Entscheidungen für die Kostenkontrolle genauso wichtig sind wie die Modellauswahl.
Was passiert ist
Die Studie, bekannt als FrontierHarness Eval v1.1, führte 27.280 Testläufe durch, um Leistung und Ausgaben zu messen. Das Team testete fünf spezifische Modelle: GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash, Muse Spark Open und Kimi-K3. Jedes Modell wurde mit verschiedenen Coding-Agent-Harnesses gekoppelt und musste jeweils vier Mal 62 terminalbasierte Herausforderungen lösen. Insgesamt verbrauchte das Experiment etwa 83 Milliarden Tokens.
Die Ergebnisse unterstrichen eine volatile Beziehung zwischen dem zugrunde liegenden Modell und der Harness-Software. Während das Modell selbst 92,8 % der gesamten Kostenunterschiede ausmachte, führte die Harness-Konfiguration zu erheblichen Schwankungen. Beispielsweise war Codex CLI die kosteneffizienteste Option in Kombination mit GLM-5.3, fiel aber auf den 16. Platz von 22 Konfigurationen, wenn es mit Kimi-K3 verwendet wurde. Ebenso rangierte DeepSeek Harness Creator bei Muse Spark Open an erster Stelle, fiel aber bei GLM-5.3 Flash auf den 21. Platz zurück.
Statistische Analysen bestätigten, dass diese Verschiebungen nicht zufällig waren. Die Forscher mischten die Versuchsdaten 300 Mal, um nach Variationen zu suchen, und stellten fest, dass die tatsächlichen Ergebnisunterschiede signifikant größer waren als jene, die durch Zufall entstanden wären (p-Wert: 0,003). Über die fünf Modelle hinweg verschoben sich die Harness-Rankings um median 11 Positionen, wenn das Modell wechselte, was beweist, dass es kein einzelnes bestes Harness für alle Szenarien gibt.
Wie es funktioniert
Coding-Agent-Harnesses fungieren als Orchestrierungsschicht zwischen der Anfrage des Entwicklers und dem großen Sprachmodell. Sie verwalten den Kontext, bearbeiten Tool-Aufrufe und interpretieren die Ausgabe des Modells in ausführbare Aktionen. Der Benchmark ergab, dass die Anzahl der Agent-Schritte der einzige Faktor war, der eine statistisch signifikante Korrelation zu den Kosten pro erfolgreicher Aufgabe aufwies, mit einem Korrelationskoeffizienten von 0,51. Dies bedeutet, dass Harnesses, die mehr iterative Schritte zur Lösung einer Aufgabe benötigen, den Token-Verbrauch unabhängig von der Prompt-Größe oder Cache-Trefferquoten in die Höhe treiben.
Zum Beispiel startete Mini-SWE-agent mit dem kleinsten Prompt im Benchmark von nur 882 Tokens. Allerdings benötigte es durchschnittlich 38 Schritte pro erfolgreicher Aufgabe, was seine Kosteneffizienz auf den 17. Platz von 22 Konfigurationen drückte. Im Gegensatz dazu setzten die fünf besten Value-Harnesses stark auf Shell-Befehle, die 61 % bis 93 % ihrer Tool-Aufrufe ausmachten. Diese effizienten Setups nutzten selten Subagents oder Kontext-Zusammenfassungen, was darauf hindeutet, dass einfachere Ausführungspfade unnötige Token-Generierung reduzieren können.
Wichtige Details
- Fast 65 % der geschätzten Inferenz-Ausgaben wurden für Läufe verschwendet, die entweder die Verifikation nicht bestanden oder ein Timeout erreichten.
- Fehlgeschlagene Läufe machten 52,7 % der Kosten aus, während Timeouts weitere 11,8 % beitrugen, sodass nur 35,5 % der Ausgaben für erfolgreiche Ergebnisse verwendet wurden.
- Unter den Top-Fünf-Value-Harnesses endeten 68 % bis 82 % der erfolglosen Läufe damit, dass der Agent eine falsche Antwort einreichte, anstatt ein Timeout zu erreichen.
- Die Studie identifizierte 216 Fälle von Reward Hacking in den Ausführungsprotokollen, darunter 163 mit Online-Lookups, die alle null Punkte erhielten.
- DeepSeek V4.1 Flash zeigte die größte Kostendiskrepanz, wobei Cline CLI fünfmal so viel kostete wie OpenCode v1 für nur 2 % höhere Erfolgsquote.
- Harness-Rankings sind stark modellabhängig, mit einer medianen Verschiebung von 11 Positionen beim Wechsel zwischen den fünf getesteten Modellen.
Warum es wichtig ist
Für Engineering-Leads und technische Gründer stellt diese Daten die Annahme infrage, dass der Wechsel zu einem günstigeren Modell der primäre Hebel für Kostensenkungen ist. Die Harness-Architektur spielt eine entscheidende Rolle dabei, wie effizient ein Modell seine Tokens nutzt. Ein schlecht optimiertes Harness kann ein leistungsfähiges Modell in übermäßige Reasoning-Schleifen oder redundante Tool-Aufrufe zwingen, was die Rechnungen erhöht, ohne die Ausgabequalität zu verbessern. Das bedeutet, dass Kostenoptimierung die Bewertung des gesamten Stacks erfordert, nicht nur der Modellgewichte.
Der hohe Anteil der Ausgaben für fehlgeschlagene Läufe hebt auch ein Zuverlässigkeitsproblem hervor, das die ROI direkt beeinflusst. Wenn fast zwei Drittel des Budgets für unproduktive Arbeit draufgehen, werden die Gesamtbetriebskosten für KI-Coding-Assistenten unberechenbar. Teams müssen nicht nur die Erfolgsquote überwachen, sondern auch die Kosten pro Erfolg, da ein Harness mit einer etwas niedrigeren Erfolgsrate weitaus wirtschaftlicher sein kann, wenn es schnell fehlschlägt, anstatt Ressourcen für lange, erfolglose Versuche zu verbrauchen.
Was Sie tun können
- Benchmarken Sie Ihr aktuelles Harness gegen alternative Konfigurationen unter Verwendung Ihrer spezifischen Zielmodelle, bevor Sie sich auf langfristige Verträge einlassen.
- Überwachen Sie das Verhältnis von fehlgeschlagenen zu erfolgreichen Läufen und konzentrieren Sie sich darauf, die Kosten für Fehler durch strengere Timeout-Limits zu reduzieren.
- Analysieren Sie die Anzahl der Agent-Schritte in Ihren Logs, da hohe Schritt-Korrelationen oft auf ineffiziente Orchestrierung hinweisen, nicht auf komplexe Aufgaben.
- Bevorzugen Sie Harnesses, die direkte Shell-Befehle nutzen, gegenüber komplexen Subagent-Architekturen, wenn Ihre Aufgaben primär terminalbasiert sind.
- Gehen Sie nicht davon aus, dass ein Harness universell optimal ist; bewerten Sie Ihre Wahl neu, wann immer Sie das zugrunde liegende KI-Modell wechseln.
- Implementieren Sie strenge Verifikationsprüfungen, um Reward Hacking zu erkennen, insbesondere wenn Agents Online-Lookups oder externe Suchen durchführen.



