L'agent de codage DeepSeek perd des points sur les benchmarks en nettoyant les processus d'arrière-plan
DeepSeek Harness chute dans le classement Terminal-Bench car il arrête automatiquement les tâches d'arrière-plan, un comportement qui entre en conflit avec des exigences spécifiques des tests malgré son statut de pratique standard.
Traduit automatiquement depuis l'original anglais.
L'agent de codage open-source de DeepSeek perd du terrain sur un benchmark majeur de l'industrie en raison d'une habitude intégrée que les développeurs considèrent généralement comme une bonne pratique. L'agent nettoie automatiquement après lui-même en terminant les processus d'arrière-plan une fois une tâche achevée, ce qui le fait échouer à des tests spécifiques nécessitant que ces processus restent actifs. Cette divergence a été mise en évidence en novembre 2026 lorsque le chercheur Joël Niklaus a ajouté l'outil à son classement comparatif.
Ce qui s'est passé
Le problème est apparu lorsque Niklaus, chercheur spécialisé dans l'optimisation des harnais chez Hugging Face, a intégré DeepSeek Harness à son classement des agents de codage. Ce tableau compare dix harnais d'agents différents utilisant les mêmes modèles sous-jacents pour isoler l'impact de la couche d'orchestration. Bien que DeepSeek Harness ait globalement excellé, arrivant ex aequo en première place sur cinq évaluations notées, il a chuté à la sixième place spécifiquement sur Terminal-Bench.
L'écart de performance a été attribué à trois tâches spécifiques au sein de Terminal-Bench qui exigent que les processus d'arrière-plan continuent de fonctionner après l'émission de la commande initiale. DeepSeek Harness, par conception, arrête ces processus lorsqu'il considère qu'une tâche est terminée. Lors de tests utilisant les modèles DeepSeek-V4.1-Flash et GLM-5.3-Flash, l'agent n'a réussi que deux tentatives sur 36 pour ces tâches spécifiques. En revanche, des agents concurrents tels que OpenCode, Pi et Hermes Agent de Nous Research ont réussi toutes les 36 tentatives sur les mêmes tâches, car ils n'imposent pas cette politique stricte de nettoyage.
Cette seule différence de comportement a réduit le score de DeepSeek Harness de 1,5 à 1,7 point de pourcentage. Sur le modèle DeepSeek-V4.1-Flash configuré pour un effort de raisonnement élevé, cette pénalité était supérieure à l'écart total de 1,3 point séparant DeepSeek du leader du classement. Le journal des modifications du classement confirme que ce comportement d'arrêt est une fonctionnalité intentionnelle de DeepSeek Harness, et les scores ont été laissés inchangés pour refléter les performances réelles.
Comment cela fonctionne
DeepSeek Harness utilise un registre local de tâches conçu pour être éphémère. Selon la documentation technique de DeepSeek, ce composant est destiné aux tâches qui doivent vivre au sein du processus du harnais et se terminer lorsque le processus prend fin. Cette architecture garantit que les ressources ne sont pas perdues et que l'environnement reste propre pour les tâches suivantes. Cependant, elle crée un conflit avec les workflows qui reposent sur des services persistants en arrière-plan, tels que les serveurs web ou les démons longue durée, qui doivent survivre au-delà du contexte d'exécution immédiat.
Pour les tâches nécessitant une persistance lors des redémarrages ou une exécution indépendante des processus, la documentation conseille d'utiliser un backend différent. L'agent ne distingue actuellement pas entre les scripts d'assistance transitoires et les services essentiels en arrière-plan lors de sa phase de nettoyage. Par conséquent, il traite tous les sous-processus lancés comme des artefacts temporaires à supprimer à la fin de la tâche, entraînant des échecs dans les benchmarks qui testent explicitement la persistance des processus.
Détails clés
- DeepSeek Harness se classe sixième sur Terminal-Bench mais est statistiquement ex aequo en tête sur les cinq autres évaluations du classement.
- L'agent n'a réussi que 2 tentatives sur 36 pour les tâches spécifiques de persistance, tandis que des concurrents comme OpenCode et Pi ont réussi les 36.
- Le comportement de nettoyage a réduit les scores de 1,5 à 1,7 point de pourcentage, dépassant la marge entre DeepSeek et l'agent le mieux classé.
- Le classement de Niklaus comprenait 28 849 essais sur neuf harnais utilisant les modèles DeepSeek-V4.1-Flash, GLM-5.3-Flash et Flint.
- Mini-swe-agent a atteint un taux de résolution de 51,4 %, nettement supérieur aux 27,3 % d'OpenClaw, malgré l'utilisation des mêmes modèles sous-jacents.
- L'efficacité en termes de coûts variait largement, Pi résolvant les tâches à 0,29 $ chacune contre 3,35 $ par tâche résolue pour OpenCode lors des évaluations initiales.
Pourquoi c'est important
Cet incident souligne que le choix du harnais d'agent peut être aussi critique que celui du grand modèle de langage sous-jacent. Les développeurs se concentrent souvent lourdement sur les capacités du modèle, telles que la profondeur de raisonnement ou la taille de la fenêtre de contexte, tout en traitant la couche d'orchestration comme une enveloppe neutre. Les données montrent que les harnais introduisent une variance significative à la fois dans les taux de réussite et les coûts. Par exemple, Thomas Wolf, cofondateur de Hugging Face, a noté que le même modèle ouvert produisait des résultats très différents selon le harnais utilisé.
Pour les équipes d'ingénierie développant des outils de développement pilotés par l'IA, cela signifie que les scores de benchmark doivent être interprétés avec prudence. Un score inférieur peut ne pas indiquer un modèle plus faible, mais plutôt une inadéquation entre les comportements par défaut de l'agent et les contraintes spécifiques du benchmark. Cela met également en évidence l'importance de la surveillance des coûts, car certains harnais engendrent des dépenses nettement plus élevées par tâche résolue en raison d'une gestion inefficace du contexte ou de requêtes redondantes.
Ce que vous pouvez faire
- Évaluez votre harnais d'agent séparément de votre modèle en effectuant des essais contrôlés avec des paramètres de modèle constants.
- Vérifiez si les politiques de nettoyage par défaut de votre agent entrent en conflit avec les tâches nécessitant des processus persistants en arrière-plan ou des services longue durée.
- Surveillez le coût par tâche résolue parallèlement aux métriques de précision pour identifier les motifs d'orchestration inefficaces.
- Consultez la documentation du harnais choisi pour comprendre comment il gère les cycles de vie des tâches et la persistance des processus.
- Envisagez d'utiliser des backends alternatifs pour les tâches nécessitant que les tâches survivent aux redémarrages ou s'exécutent sur plusieurs processus.
- Testez plusieurs harnais avec le même modèle pour déterminer quelle combinaison offre le meilleur équilibre entre performance et coût pour votre cas d'utilisation spécifique.



